[論文レビュー] The Sample Complexity of Learning Linear Predictors with the Squared Loss

Ohad Shamir|arXiv (Cornell University)|Jun 19, 2014

Machine Learning and Algorithms参考文献 9被引用数 5

ひとこと要約

この論文は、アグノスティックで分布フリーな設定において、二乗損失を用いた線形予測子の学習のためのタイトなサンプル複雑度下界を確立する。期待される過剰リスクが $ min\{Y^2, \frac{B^2 + dY^2}{m}, \frac{BY}{\sqrt{m}}\}$ に比例する下界を持つことを示しており、これは、ノルムバウンド $B$ とターゲットバウンデッド $Y$ が一般化性能に独立して影響することを示しており、先行研究における一般的な仮定とは対照的である。

ABSTRACT

In this short note, we provide a sample complexity lower bound for learning linear predictors with respect to the squared loss. Our focus is on an agnostic setting, where no assumptions are made on the data distribution. This contrasts with standard results in the literature, which either make distributional assumptions, refer to specific parameter settings, or use other performance measures.

研究の動機と目的

• 線形回帰におけるサンプル複雑度の分布フリーな自己完結的分析を提供することで、文献におけるギャップを埋めること。
• 分布に関する仮定（例えば、正しく指定されたモデル、有界な予測子）に依存する既存の結果が、アグノスティックな設定における真のサンプル複雑度を捉えていないことを示すこと。
• パラメータ推定誤差 ($\mathbb{E}[\|\mathbf{w}-\mathbf{w}^*\|^2]$) や有界でない予測子における予測誤差に基づく過剰リスクの境界が、仮説クラスがノルムに制限されている場合に、過剰リスクの境界を意味しないことを示すこと。
• 特に $B \geq 2Y$ の場合に、ターゲット値のバウンデッド $Y$ と予測子ノルムのバウンデッド $B$ が一般化性能に果たす役割を明確にすること。
• すべてのデータ分布に対して一様に成り立つタイトな下界を確立すること。有界関数や特定のモーメント条件の仮定は行わない。

提案手法

• 入力出力ペア $(\mathbf{x}, y)$ の硬い分布族を構築し、$\|\mathbf{x}\| \leq 1$, $|y| \leq Y$, および $\|\mathbf{w}\| \leq B$ を満たす。
• 各 $\mathbf{e}_i$（$d'$ 個の標準基底ベクトル）が確率 $1/d'$ で選択され、$y$ がパラメータ $\sigma_i$ に依存するベルヌーイ確率変数である混合分布を用いる。
• 条件付き分布とカルバック・ライブラー発散を用いて、二つの異なるパrameter設定（$\sigma_i > 0$ 対 $\sigma_i < 0$）における訓練データの尤度を比較する。
• KL 発散の jointly 凸性を用い、$\chi^2$ 発散を用いて条件付き分布間の発散の上界を導出する。
• 仮説とデータ間の相互情報量を関連付けることで、過剰リスクの下界を導出する。
• 自由パラメータ $d'$（活性次元数）を最適化し、二つの領域（$d > \sqrt{6m}B/Y$ および $d \leq \sqrt{6m}B/Y$）における最良の下界を得る。

実験結果

リサーチクエスチョン

• RQ1 完全にアグノスティックで分布フリーな設定において、二乗損失を用いた線形予測子の学習のための最適なサンプル複雑度は何か？
• RQ2 分布に関する仮定を一切行わない場合、ターゲット値のバウンド（$Y$）と予測子ノルムのバウンド（$B$）が一般化誤差にどのように影響するか？
• RQ3 パラメータ推定誤差や有界でない予測子に基づく標準的な過剰リスク境界が、ノルムに制限された仮説クラスでは真の複雑度を捉えていないのはなぜか？
• RQ4 一般化誤差における $Y$, $B$, $d$, および $m$ の寄与を明確に分離できるタイトな下界を確立できるか？
• RQ5 線形回帰における二乗損失の下で、次元 $d$、サンプルサイズ $m$、およびノルム制約 $B$ と $Y$ の間の根本的なトレードオフは何か？

主な発見

• 任意の学習アルゴリズムがノルムに制限された線形予測子を返す場合、期待される過剰リスクに対する普遍的な下界 $c \cdot \min\left\{Y^2, \frac{B^2 + dY^2}{m}, \frac{BY}{\sqrt{m}}\right\}$ を確立する。
• 下界は、$m$ が小さいとき、$\frac{B^2 + dY^2}{m}$ に比例することを示しており、これは予測子ノルムとデータ次元が両方ともサンプル複雑度に寄与することを示している。
• $B \geq 2Y$ の場合、下界に $\frac{BY}{\sqrt{m}}$ 項が含まれており、ノルムバウンドとターゲットバウンデッドの積が次元とは独立して一般化に影響することを示している。
• この下界は、既知の上界と定数要因を除いて一致するため、タイトである。追加の仮定なしには改善できない。
• 分析により、$\mathbb{E}[\|\mathbf{w}-\mathbf{w}^*\|^2]$ や有界でない $B$ に依存する従来の結果は、ノルムに制限された場合に過剰リスクの境界を意味しないことが判明した。これは、最大で $\frac{1}{1/2 - w}$ の乗法的ギャップが生じる可能性があるためである。
• この結果は、真の予測子が仮説クラスに含まれないような分布に対しても一様に成り立ち、$B$ が $Y$ に対して大きくても非自明なまま保たれる。