[論文レビュー] Approximate is Good Enough: Probabilistic Variants of Dimensional and Margin Complexity

Pritish Kamath, Omar Montasser+1 more|arXiv (Cornell University)|Mar 9, 2020

Machine Learning and Algorithms参考文献 23被引用数 5

ひとこと要約

本稿では、仮説クラスの表現における小さな誤差を許容する近似的・確率的埋め込みを用いた次元的・マージン的複雑さの確率的変種を導入する。これらの概念が、線形またはカーネル手法による学習において必要かつ十分であることを証明し、古典的な正確な複雑さの測度よりも、カーネル手法の限界に関する tighter な下界を提供する。

ABSTRACT

We present and study approximate notions of dimensional and margin complexity, which correspond to the minimal dimension or norm of an embedding required to approximate, rather then exactly represent, a given hypothesis class. We show that such notions are not only sufficient for learning using linear predictors or a kernel, but unlike the exact variants, are also necessary. Thus they are better suited for discussing limitations of linear or kernel methods.

研究の動機と目的

• カーネル手法のパワーを評価するうえで古典的な次元的・マージン的複雑さの限界を克服すること。
• 実際の機械学習の設定を反映させるために、近似とランダム化を伴う線形またはカーネル手法による学習を形式化すること。
• 正確なバージョンとは異なり、近似的・確率的な埋め込みが、それらの学習において、必要かつ十分であることを示すこと。
• よく知られた複雑さの測度を用いて、カーネルベースの学習のサンプル複雑さに関する一貫した下界を導出するための統一的な枠組みを構築すること。
• Yehudai と Shamir (2019) が提起したオープンな問題を、新たな複雑さの測度を用いて下界を強化することで解決すること。

提案手法

• 近似（誤差 ε）とランダム化を許容する次元的複雑さ（dcε）およびマージン的複雑さ（mcε）の確率的変種を提案する。
• 特定のデータ分布下での一般化を分析するために、分布依存および分布独立なこれらの複雑さのバージョンを定義する。
• 標準的な一般化境界を用いて、これらの新しい複雑さ測度と「保証付き」線形／カーネル学習（gLinε, gKerε）の等価性を確立する。
• 統計的クエリ（SQ）次元および最小固有値次元（minEV-dim）を用いて dcε の下界を導出し、既存の複雑さの測度と関連付ける。
• 有限次元またはノルム有界な埋め込みによる学習において dcε が必要であることの証明を行い、強力な下界ツールとしての有効性を示す。
• この枠組みを用いて、特に 0/1 損失および二乗損失の設定において、カーネル手法の限界に関する既存の下界を強化する。

実験結果

リサーチクエスチョン

• RQ1 近似的・確率的特徴マップは、正確で決定的な埋め込みよりも、カーネル手法の限界をより正確に特徴づけられるか？
• RQ2 近似とランダム化を伴う線形またはカーネル手法による学習が可能であるが、正確な表現では不可能な仮説クラスは存在するか？
• RQ3 新しい複雑さの測度を用いて、カーネルベースの学習のサンプル複雑さに関するタイトで一般的な下界を導出できるか？
• RQ4 新しい確率的複雑さの測度と、VC次元や統計的クエリ次元といった既存の概念との関係は何か？
• RQ5 この枠組みは、Yehudai と Shamir (2019) が提起した深層学習とカーネル手法の比較に関するオープンな問題を解消できるか？

主な発見

• 確率的次元的複雑さ dcε は、近似を伴う線形またはカーネル手法による分布依存の学習において、必要かつ十分である。
• 0/1 損失の下では、dcε は古典的な正確な次元的複雑さよりも指数的に小さくなる可能性があり、近似が必要な埋め込み次元を顕著に削減することを示している。
• 分布依存の近似的次元的複雑さ dcεD,ℓ は、仮説クラスの VC 次元によって上界で抑えられる。
• 二乗損失の下では、dcεD,ℓsq は最小固有値次元によって下界で抑えられ、その最小固有値次元自体が統計的クエリ次元によって下界で抑えられるため、強い下界が得られる。
• Yehudai と Shamir (2019) が提起したオープンな問題を、新しい複雑さ測度を用いて下界を強化することで解決した。
• 複雑さ理論的障壁が存在する：明示的なクラスについて、dcεD,ℓ01 に超多項式の下界が存在するならば、深さ2のしきい値回路の超多項式下界が示されることになり、これは長年の未解決問題である。