[論文レビュー] Learning with Square Loss: Localization through Offset Rademacher Complexity

Tengyuan Liang, Alexander Rakhlin+1 more|arXiv (Cornell University)|Feb 21, 2015

Machine Learning and Algorithms参考文献 20被引用数 15

ひとこと要約

本稿では、平方損失を用いた回帰の解析に新たなツールとしてオフセットラデマッハ複雑度を導入する。これは有界関数を仮定しなくても局所化を可能にする。2段階推定子の過剰リスクがこの複雑度によって上界で抑えられることを確立し、有界な場合の既知のレートを回復するとともに、幾何的不等式とチェイニングの議論を用いて非有界な設定へと拡張する。

ABSTRACT

We consider regression with square loss and general classes of functions without the boundedness assumption. We introduce a notion of offset Rademacher complexity that provides a transparent way to study localization both in expectation and in high probability. For any (possibly non-convex) class, the excess loss of a two-step estimator is shown to be upper bounded by this offset complexity through a novel geometric inequality. In the convex case, the estimator reduces to an empirical risk minimizer. The method recovers the results of \citep{RakSriTsy15} for the bounded case while also providing guarantees without the boundedness assumption.

研究の動機と目的

• 平方損失を用いた回帰における過剰リスクを分析する包括的なフレームワークの構築、特に関数やノイズの有界性の仮定がない場合の分析。
• 局所化の観点から期待値および高確率の両方で役立つツールとして、オフセットラデマッハ複雑度の概念を導入・形式化すること。
• 非凸的かつ非有界な関数クラスへと、既存の局所ラデマッハ複雑度および経験的リスク最小化の結果を拡張すること。
• オフセットラデマッハ複雑度を用いて、ミニマックス過剰リスクの下界を確立し、それが回帰問題において本質的な役割を果たすことを示すこと。
• チェイニングに基づく新たな解析を用いて、[18]で示された既知のアグリゲーションレート（例：[18]）を、有界性の要請なしに回復すること。

提案手法

• 2段階推定子を提案：まず、関数クラス $\mathcal{F}$ 上で経験的リスク最小化により $\widehat{g}$ を計算する。次に、スター集合 $\text{star}(\mathcal{F}, \widehat{g})$ 上で経験的リスクを最小化する。
• オフセットラデマッハ過程 $ g \mapsto \frac{1}{n}\sum_{t=1}^n \epsilon_t g(x_t) - c g(x_t)^2 $ を導入する。ここで二次項が大きな $g$ の値を抑制することで局所化を実現する。
• この過程の上界をオフセットラデマッハ複雑度として定義し、これが2段階推定子の過剰リスクの期待値および高確率での上界として機能することを示す。
• 幾何的不等式を適用し、過剰リスクをオフセットラデマッハ複雑度に関連づける。これにより、古典的な結果が非有界な設定へと一般化される。
• 被覆数に基づくチェイニング技術を用いて、オフセット過程の上界を上から抑え、有限サンプルのリスクバウンドを導出する。
• オフセットラデマッハ複雑度がメンデルソン [14] の固定点複雑度によって上界で抑えられることを示し、既存のフレームワークと比較可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 平方損失を用いた回帰における局所化は、関数クラスやノイズの有界性を仮定しなくても達成可能か？
• RQ2 オフセットラデマッハ複雑度は、古典的な局所ラデマッハ複雑度と比較して、過剰リスクを上界で抑える観点でどのように異なるか？
• RQ3 平方損失の下で回帰問題におけるミニマックス過剰リスクを特徴付ける本質的な複雑度測度は何か？
• RQ4 2段階スターアルゴリズム推定子は、凸性や有界性の仮定なしに最適レートを達成可能か？
• RQ5 非有界な設定において、オフセットラデマッハ複雑度は被覆数およびチェイニングを用いてどの程度制御可能か？

主な発見

• 有界性の仮定がなくても、2段階推定子の過剰リスクは期待値および高確率の両方でオフセットラデマッハ複雑度によって上界で抑えられる。
• 線形クラスの場合、オフセットラデマッハ複雑度は期待値および高確率で $\mathcal{O}(p/n)$ であることが示され、通常最小二乗法のレートと一致する。
• 本手法により、[18]のアグリゲーションレートが有界関数やノイズの仮定なしに回復され、それらの結果が非有界な設定へと拡張される。
• ミニマックス過剰リスクに対する下界がオフセットラデマッハ複雑度の観点から確立され、それが問題における本質的役割を果たすことが示された。
• オフセットラデマッハ複雑度がメンデルソン [14] の固定点複雑度によって上界で抑えられることを示し、既存のフレームワークと接続された。
• 下位等長性仮定を満たす場合に高確率バウンドが確立され、これはサブガウスクラスに対して成り立つため、分散制御の有効性が保証される。