[論文レビュー] On the Sample Complexity of Learning with Geometric Stability.

Alberto Bietti, Luca Venturi+1 more|arXiv (Cornell University)|Jun 14, 2021

Machine Learning and Algorithms参考文献 2被引用数 6

ひとこと要約

この論文は、回転や置換などの群作用（例：回転、置換）や微小な変形への安定性といった幾何的安定性を示す関数を学習するためのカーネル法の標本複雑度を、球面調和関数の展開を用いて分析する。不変カーネルを用いることで、群のサイズに等しい要因で標本複雑度が低減され、その恩恵は漸近的に現れ、スペクトル的群性質に依存する。

ABSTRACT

Many supervised learning problems involve high-dimensional data such as images, text, or graphs. In order to make efficient use of data, it is often useful to leverage certain geometric priors in the problem at hand, such as invariance to translations, permutation subgroups, or stability to small deformations. We study the sample complexity of learning problems where the target function presents such invariance and stability properties, by considering spherical harmonic decompositions of such functions on the sphere. We provide non-parametric rates of convergence for kernel methods, and show improvements in sample complexity by a factor equal to the size of the group when using an invariant kernel over the group, compared to the corresponding non-invariant kernel. These improvements are valid when the sample size is large enough, with an asymptotic behavior that depends on spectral properties of the group. Finally, these gains are extended beyond invariance groups to also cover geometric stability to small deformations, modeled here as subsets (not necessarily subgroups) of permutations.

研究の動機と目的

• 幾何的安定性（例：群作用への不変性、微小変形への安定性）が教師あり学習の標本複雑度に与える影響を理解すること。
• 目的関数が構造的変換に対して不変性または安定性を示す場合のカーネル法の性能を分析すること。
• 球面調和関数展開を用いて、幾何的事前知識のもとでの非パラメトリックな収束レートを導出すること。
• 特に高次元設定において、標準カーネルと比較して不変カーネルを用いることで標本複雑度がどの程度改善されるかを定量化すること。

提案手法

• 幾何的安定性を群作用（例：回転、置換）およびそのスペクトル的性質、特にコンパクト群の表現論を用いてモデル化する。
• 関数を球面上に表現するための球面調和関数展開を用い、学習問題のスペクトル的解析を可能にする。
• カーネル法に焦点を当て、群平均特徴を用いて構築された不変カーネルと非不変カーネルを比較する。
• カーネル積分作用素の固有値の減衰を調べることで非パラメトリックな収束レートを導出する。これは群のスペクトル構造に依存する。
• 部分群に限らず、微小変形をモデル化する置換の部分集合を含む枠組みを拡張し、摂動に対する安定性の分析を可能にする。
• 群表現の次元とスペクトルギャップに基づいて理論的バウンディングを導出し、標本複雑度における漸近的改善を示す。

実験結果

リサーチクエスチョン

• RQ1 群作用への不変性は、教師あり学習におけるカーネル法の標本複雑度にどのように影響するか？
• RQ2 幾何的安定性を示す関数に対して、非不変カーネルと比較して不変カーネルを用いることで、標本複雑度にどの程度の定量的改善が得られるか？
• RQ3 群のスペクトル的性質は、カーネル学習における収束速度と標本複雑度にどのように影響するか？
• RQ4 この枠組みは、部分群への完全な不変性にとどまらず、微小変形への安定性をモデル化するために拡張可能か？
• RQ5 標本サイズが増加する際の標本複雑度改善の漸近的挙動は何か？また、群構造にどのように依存するか？

主な発見

• 適切な条件下で、不変カーネルを用いることで、非不変カーネルと比較して標本複雑度が群のサイズに等しい要因で低減される。
• 標本複雑度の改善は漸近的であり、特にカーネル作用素における固有値の減衰に依存する群のスペクトル的性質に依存する。
• 幾何的安定性のもとでのカーネル法に対して非パラメトリックな収束レートが導出され、構造的不変性により一般化性能が向上することが示された。
• 不変性による利点は、特に可約表現の次元とスペクトルギャップを通じて、群の表現論と定量的に関連づけられる。
• この枠組みは不変性群に限らず、微小変形を置換の部分集合としてモデル化することで拡張可能であり、標本複雑度における同様の改善が示された。