[論文レビュー] $\ell_{\infty}$ Vector Contraction for Rademacher Complexity

Dylan J. Foster, Alexander Rakhlin|arXiv (Cornell University)|Nov 15, 2019

Computability, Logic, AI Algorithms参考文献 14被引用数 11

ひとこと要約

本稿は、関数がℓ∞ノルムに関してリプシッツである場合のラドマーチャー複雑度に対するより鋭いベクトル収縮不等式を確立する。関数クラスがℓ∞-リプシッツ写像と合成された場合の複雑度が、最大の座標ごとの複雑度にÕ(√K)を乗じたもので抑えられることを示し、これはℓ2に基づく収縮境界を改善し、K-平均法における最適レートを回復する。

ABSTRACT

We show that the Rademacher complexity of any $\mathbb{R}^{K}$-valued function class composed with an $\ell_{\infty}$-Lipschitz function is bounded by the maximum Rademacher complexity of the restriction of the function class along each coordinate, times a factor of $ ilde{O}(\sqrt{K})$.

研究の動機と目的

• 関数がℓ2-リプシッツではなくℓ∞-リプシッツである場合に、既存のベクトル収縮不等式のゆるさを是正すること。
• ℓ∞-リプシッツ写像と合成されたベクトル値関数クラスのラドマーチャー複雑度に対するより鋭い境界を導出すること。
• 標準的なℓ2に基づく収縮不等式では達成できないが、既知の最適レートであるÕ(√(Kn))をK-平均法で回復すること。
• 結果をp ∈ (0, ∞) のℓpノルムへ一般化し、異なるリプシッツ構造を統一的に扱うフレームワークを提供すること。
• 構造予測およびクラスタリングの応用分野における理論的境界と既知の最適レートのギャップを埋めること。

提案手法

• 被覆数とファットシャンタリング次元に基づくチェインニングの議論を用いて、ラドマーチャー複雑度を評価する。
• φのℓ∞-リプシッツ性を活用して、写像φと関数クラスFの影響を分離する、新しい被覆数の境界を導入する。
• 一般の場合をβ = L = 1の場合に還元するためのスケーリング変換を適用し、解析を単純化する。
• 各座標のラドマーチャー複雑度に応じて被覆スケールを割り当てる、双対被覆戦略を採用する。
• 座標間の被覆スケールをℓpノルムでバランスさせることで、一般のℓp収縮不等式を導出する。
• ダドリーの積分とファットシャンタリング次元の境界を用いて、被覆数とラドマーチャー複雑度を関連付ける。

実験結果

リサーチクエスチョン

• RQ1 写像φがℓ2-リプシッツではなくℓ∞-リプシッツである場合に、標準的なベクトル収縮不等式を改善できるか？
• RQ2 改善された境界が、既にタイトであると知られているK-平均法の最適レートÕ(√(Kn))を回復するか？
• RQ3 境界における√K要因は対数的要因を除きタイトか、それ以上に改善可能か？
• RQ4 結果をℓ∞を越えてℓpノルムへ一般化できるか？また、写像のpノルムに応じて複雑度はどのように依存するか？
• RQ5 座標ごとのラドマーチャー複雑度は、ℓ∞-リプシッツ変換下でのベクトル値関数クラスの全体の複雑度を制御する上でどのような役割を果たすか？

主な発見

• ℓ∞-リプシッツ写像と合成されたベクトル値関数クラスのラドマーチャー複雑度は、最大の座標ごとの複雑度にÕ(L√K)を乗じたもので抑えられる。
• この境界は、K-平均法における最適なÕ(√(Kn))レートを回復し、ℓ2に基づく収縮不等式によるO(K√n)レートよりもタイトである。
• √K要因は、ハイパープランとラドマーチャー・ローチェインを用いた一致する下界構成により、対数的要因を除いてタイトであることが示された。
• ℓpノルムの場合、境界はÕ(L)に座標ごとの複雑度のℓ^{2p/(2+p)}-ノルムを乗じたものに比例し、ℓ∞の結果を一般化する。
• 構造予測、ロバスト学習、ニューラルネットワークの一般化の分野において、既存の境界を上回る。これはℓ∞-リプシッツ写像の構造を活用した結果である。
• 解析により、写像がℓ∞-リプシッツである場合、全体の複雑度は座標ごとの複雑度が支配的であることが示され、max_i R_n(F|_i) に注目する正当性が裏付けられた。