[論文レビュー] Tight Sample Complexity of Large-Margin Learning

Sivan Sabato, Nathan Srebro+1 more|arXiv (Cornell University)|Nov 23, 2010

Sparse and Compressive Sensing Techniques参考文献 20被引用数 4

ひとこと要約

本稿では、共分散行列から導出される分布固有の測度であるγ適応次元を導入し、L2正則化を伴うマージン最大化分類のサンプル複雑度をきめ細かく特徴づける。上界と下界がそれぞれΩ(kγ)およびÕ(kγ/ε²)で一致することを確立し、サブガウス分布においてkγが真のサンプル複雑度を支配することを示しており、学習アルゴリズム間の厳密な比較を可能にする分布固有の精密な特徴づけを提供する。

ABSTRACT

We obtain a tight distribution-specific characterization of the sample complexity of large-margin classification with L_2 regularization: We introduce the γ-adapted-dimension, which is a simple function of the spectrum of a distribution's covariance matrix, and show distribution-specific upper and lower bounds on the sample complexity, both governed by the γ-adapted-dimension of the source distribution. We conclude that this new quantity tightly characterizes the true sample complexity of large-margin classification. The bounds hold for a rich family of sub-Gaussian distributions.

研究の動機と目的

• L2正則化を伴う大マージン分類のための、正確で分布固有のサンプル複雑度の特徴づけを同定すること。
• 緩い上界と実際の必要サンプル数との差を埋めるために、分布固有でタイトな下界を導入すること。
• kγ(DX)というシンプルで計算可能な量を提案し、サブガウス分布の豊かなクラスにおける真のサンプル複雑度を捉えること。
• L1正則化とL2正則化、および判別型モデルと生成型モデルの間での学習ルールの間で、厳密な比較を可能にすること。
• 最悪ケースの仮定に依存せず、内在する分布の性質に基づいて有限サンプル収束速度を分析するためのツールを提供すること。

提案手法

• 入力分布の共分散行列の固有値に依存するγ適応次元kγ(DX)を定義し、マージン制約下での有効次元の概念を捉える。
• 新たなハードな分布族の構築と統計的クエリの議論を用いて、分布固有のサンプル複雑度の下界を確立する。
• マージン最小化のための標準的一般化境界を用いて上界を導出し、kγ(DX)に依存することを示す。
• 各方向が独立で無相関であるサブガウス分布に対して、サンプル複雑度がkγ(DX)でタイトに特徴づけられることを証明する（対数因子を除いて）。
• 下界を用いて、L1正則化とL2正則化、および判別型と生成型学習の間のサンプル複雑度のギャップを厳密に示す。
• 高次元ガウス混合分布（分類平均が分離されている場合）などの特定の分布に対してフレームワークを適用し、具体的なサンプル複雑度推定値を導出する。

実験結果

リサーチクエスチョン

• RQ1 L2正則化を伴う大マージン分類の真のサンプル複雑度をタイトに特徴づける分布固有の量は何か？
• RQ2 最悪ケースではなく、分布固有でタイトなサンプル複雑度の下界を確立できるか？
• RQ3 γ適応次元は、次元やノルムといった従来の測度をどのように改善し、サンプル複雑度の予測に寄与するか？
• RQ4 不要な特徴量が存在する状況で、L1正則化とL2正則化の間のサンプル複雑度のギャップは何か？
• RQ5 高次元ガウス混合分布において、判別型大マージン学習と生成型モデリングの間でサンプル複雑度はどのように異なるか？

主な発見

• 大マージン分類のサンプル複雑度は、γ適応次元kγ(DX)でタイトに特徴づけられ、上界と下界がそれぞれΩ(kγ)およびÕ(kγ/ε²)に比例することが示された。
• 各方向が独立で無相関であるサブガウス分布に対して、真のサンプル複雑度はkγ(DX)によって支配され、対数因子を除いてタイトである。
• 同じ分布的仮定のもとで、不要な特徴量が存在する場合、L2正則化ではΩ(d)、L1正則化ではO(log d)のサンプル複雑度のギャップが確立された。
• 分類平均が2vで分離された高次元ガウス混合分布に対して、判別型手法はÕ(d/v²)のサンプル数を要するが、生成型手法はO(d/v⁴)を要し、そのギャップはΩ(v²)である。
• γ適応次元は、データ分布のスペクトル的性質の影響を捉えており、ラベル条件付き分布がサンプル複雑度に及ぼす影響が限定的であることを示している。
• このフレームワークにより、最悪ケースの境界や漸近的解析を越えて、分布固有の厳密な学習アルゴリズム比較が可能になった。