[論文レビュー] Function Approximation via Sparse Random Features.

Abolfazl Hashemi, Hayden Schaeffer+4 more|arXiv (Cornell University)|Mar 4, 2021

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、圧縮センシングを活用して、標準的なランダム特徴量よりも少ない測定数で、より簡潔なモデルを学習するスパースランダム特徴量手法を提案する。この手法は、再生成核ヒルバート空間に属する関数に対して、特に座標スパarsityやスペクトルの急速な減衰といった構造的条件が成り立つ場合に、近似誤差の上限を改善する。また、科学的機械学習タスクにおいて、浅いネットワークを凌駕する性能を示す。

ABSTRACT

Random feature methods have been successful in various machine learning tasks, are easy to compute, and come with theoretical accuracy bounds. They serve as an alternative approach to standard neural networks since they can represent similar function spaces without a costly training phase. However, for accuracy, random feature methods require more measurements than trainable parameters, limiting their use for data-scarce applications or problems in scientific machine learning. This paper introduces the sparse random feature method that learns parsimonious random feature models utilizing techniques from compressive sensing. We provide uniform bounds on the approximation error for functions in a reproducing kernel Hilbert space depending on the number of samples and the distribution of features. The error bounds improve with additional structural conditions, such as coordinate sparsity, compact clusters of the spectrum, or rapid spectral decay. We show that the sparse random feature method outperforms shallow networks for well-structured functions and applications to scientific machine learning tasks.

研究の動機と目的

• 標準的なランダム特徴量手法が、トレーニング可能なパラメータ数よりも多くの測定を必要としているという制限を解決すること。これは、データが限られた環境や科学的機械学習応用においてその利用を妨げる要因となる。
• 関数の構造的性質（例えば、座標のスパarsityやスペクトルの減衰）を活用することで、コンactなモデルを学習するスパースランダム特徴量フレームワークを開発すること。
• サンプル数と特徴量分布に依存する一様近似誤差上限を提供すること。特に、スペクトルクラスタのcompact性や急速な減衰といった構造的仮定のもとで、より良い上限を得ることを目的とする。
• 本手法が、特に構造的特徴を持つ関数において、科学的機械学習タスクで浅いネットワークを上回ることを実証すること。

提案手法

• 圧縮センシング技術を用いて、スパースランダム特徴量モデルを学習することで、近似精度を保ちつつ必要な測定数を削減する。
• ランダム特徴量が誘導する高次元特徴空間におけるスパース回復問題として、近似問題を定式化する。
• 再生成核ヒルバート空間に属する関数に対する一様誤差上限を導出する。その上限は、サンプル数と特徴量分布に依存することを示す。
• 座標スパarsity、スペクトルクラスタのcompact性、または急速なスペクトル減衰といった構造的仮定を組み込むことで、誤差上限をより厳しく抑える。
• カーネルのスペクトル測度に関連する分布から独立同分布に従ってサンプリングされるランダム特徴量マップを用い、その後に圧縮センシングアルゴリズムを用いてスパース化を行う。
• 最も情報量の多い特徴量を選択するプロセスを最適化することで、冗長性を低減し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 スパースランダム特徴量は、測定数を減らしても、標準的なランダム特徴量よりも高い近似精度を達成できるか？
• RQ2 座標スパarsityやスペクトル減衰といった構造的性質が、スパースランダム特徴量モデルの近似誤差にどのように影響するか？
• RQ3 本手法は、科学的機械学習において、構造的特徴を持つ関数に対して、浅いニューラルネットワークをどの程度上回るか？
• RQ4 異なるスペクトル的および分布的仮定のもとで、スパースランダム特徴量に対してどのような理論的誤差上限を確立できるか？

主な発見

• スパースランダム特徴量手法は、再生成核ヒルバート空間において一様近似誤差上限を達成し、座標スパarsityや急速なスペクトル減衰といった構造的条件が成り立つと、その上限が改善される。
• 本手法は、標準的なランダム特徴量よりも少ない測定数を必要とし、データが限られた応用に適している。
• スペクトルクラスタがcompactであるか、スペクトルが急速に減衰する場合には、誤差上限がサンプル数とスパarsityレベルに有利に依存する。
• 実験的結果から、スパースランダム特徴量モデルは、特に構造的特徴を持つ関数において、科学的機械学習タスクで浅いネットワークを上回ることが示された。
• 理論的分析により、近似誤差がサンプル数とランダム特徴量の分布に依存することが確認され、有利なスペクトル条件のもとでよりタイトな上限が得られることが示された。