[論文レビュー] An optimal unrestricted learning procedure

Shahar Mendelson|arXiv (Cornell University)|Jul 17, 2017

Machine Learning and Algorithms参考文献 18被引用数 4

ひとこと要約

本稿は、任意の関数クラス、分布、ターゲットでさえも、重い尾を持つ設定でさえも、可能な限り良好な標本複雑度を達成する最適な制限なし学習手順を導入する。この手法は、与えられたクラス外の関数の選択を許可することで、従来の適切な学習を上回り、クラスが凸である場合には適切な手続きに還元され、両設定でミニマックス最適レートを達成する。

ABSTRACT

We study learning problems involving arbitrary classes of functions $F$, distributions $X$ and targets $Y$. Because proper learning procedures, i.e., procedures that are only allowed to select functions in $F$, tend to perform poorly unless the problem satisfies some additional structural property (e.g., that $F$ is convex), we consider unrestricted learning procedures that are free to choose functions outside the given class. We present a new unrestricted procedure that is optimal in a very strong sense: the required sample complexity is essentially the best one can hope for, and the estimate holds for (almost) any problem, including heavy-tailed situations. Moreover, the sample complexity coincides with the what one would expect if $F$ were convex, even when $F$ is not. And if $F$ is convex, the procedure turns out to be proper. Thus, the unrestricted procedure is actually optimal in both realms, for convex classes as a proper procedure and for arbitrary classes as an unrestricted procedure.

研究の動機と目的

• 適切な学習手順の限界を是正すること、特に関数クラスの凸性といった構造的仮定がなければ性能が著しく低下すること。
• 任意の関数クラス、分布、ターゲットに対して、標本複雑度が最適となる学習手順の開発、非凸および重い尾を持つ設定を含む。
• 与えられたクラス外の関数選択を許可する制限なし手順を用いて、凸クラスと非凸クラスの両方で最適なパフォーマンスを統合すること。
• 任意の学習問題について理論的下界に一致する（絶対定数の誤差を除いて）標本複雑度の境界を確立すること。
• クラスが凸である場合に、この手順が適切な学習法に還元され、両分野で最適性を達成することを示すこと。

提案手法

• 与えられたクラス $ F $ に厳密に制限されない制限なし学習手順を提案し、非凸設定でのより良い一般化を可能にする。
• 超過リスクの三成分分解（乗数過程 $ b{M} $、確率過程 $ b{Q} $、局在化成分 $ b{P} $）を採用し、一様制御フレームワークの下でそれぞれを分析する。
• 最適関数 $ f^* $ の周囲での超過リスクの局在化を制御するため、$ (r, u) $-本質的集合の概念に基づく幾何的議論を用いる。
• 局在化クラス $ H_{f^*, r} $ におけるラダマッチャー混沌過程の上界を制御するため、チェーン型エントロピー積分バウンドを適用し、一様集中性を保証する。
• 三成分 $ b{P}, b{Q}, b{M} $ が高確率 $ 1 - heta $ で確率的境界を満たすように、標本サイズ $ N $ に一連の条件を課す。これにより、高確率での超過リスク制御が得られる。
• 幾何的および統計的複雑度に基づいて、定数 $ u, heta_0, heta_1, heta_2, heta_3, heta_4 $ をキャリブレーションし、明示的な標本複雑度境界を導出する。ここで $ u riangleq 1/ ilde{ heta}_1^2 $ であり、エントロピーおよびラダマッチャー複雑度と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 任意の関数クラス $ F $ に対して、$ F $ が非凸またはデータ分布が重い尾を持つ場合でさえも、最適な標本複雑度を達成できる学習手順は存在するか？
• RQ2 超過リスク $ b{E}[ ext{超過リスク}] riangleq b{E}[( ilde{f}(X) - Y)^2] - b{E}[(f^*(X) - Y)^2] riangleq b{E}_p riangleq b{E}[ ext{超過リスク}] $ が高確率 $ 1 - ilde{ heta}_2 $ で $ ilde{ heta}_1 $ 以下に抑えられるために必要な最小標本サイズは何か？
• RQ3 凸クラス（適切な手続きとして）と一般ケース（制限なし手続きとして）の両方で最適に動作する学習手順は、どのように設計できるか？
• RQ4 非凸性などの幾何的障害が、制限なし学習の必要性を決定づける役割を果たすメカニズムは何か？また、それらはどのように標本複雑度の制御によって克服できるか？
• RQ5 関数クラス $ F $ の構造的性質に依存せずに、学習の標本複雑度をどの程度まで独立に束縛できるか？また、達成可能な最もタイトな境界は何か？

主な発見

• 提案された制限なし学習手順は、任意の学習問題 $ (F, X, Y) $ に対して、絶対定数の誤差を除いて理論的下界に一致する最適な標本複雑度を達成する。非凸クラスであっても同様に成立する。
• $ F $ が非凸であっても、$ F $ が凸である場合に期待される標本複雑度と一致する。これは、制限なしアプローチが構造的仮定の必要性を排除することを示している。
• $ F $ が凸である場合、手順は適切な学習法に還元され、凸クラスのミニマックス最適レートを達成する。したがって、両設定で最適性を達成する。
• 手順は、局在化クラス $ H_{f^*, r} $ のエントロピー、ラダマッチャー複雑度、ターゲット $ Y $ の分散にのみ依存する標本サイズ $ N $ を用いて、高確率 $ 1 - ilde{ heta}_2 $ で超過リスクを制御する。
• 分析により、必要な標本サイズ $ N $ が $ b{E}[ ext{ラダマッチャー過程の上界}] riangleq b{E}[ ext{sup}_u rac{1}{ ilde{ heta}_1} ilde{ heta}_2 ilde{ heta}_3 ilde{ heta}_4 ilde{ heta}_5 ilde{ heta}_6] riangleq b{E}[ ext{sup}_u rac{1}{ ilde{ heta}_1} ilde{ heta}_2 ilde{ heta}_3 ilde{ heta}_4 ilde{ heta}_5 ilde{ heta}_6] riangleq b{E}[ ext{sup}_u rac{1}{ ilde{ heta}_1} ilde{ heta}_2 ilde{ heta}_3 ilde{ heta}_4 ilde{ heta}_5 ilde{ heta}_6] $ を満たすことが示され、一様集中性が保証される。
• 手順の最適性は、超過リスクの三部構成（$ b{P}, b{Q}, b{M} $）に基づき、一様な標本複雑度条件の下で各成分が高確率で制御されることにより確立される。これにより、最終的な超過リスク境界が $ b{E}_p riangleq b{E}[ ext{超過リスク}] riangleq b{E}[ ext{超過リスク}] riangleq b{E}[ ext{超過リスク}] $ となる。ここで $ r' riangleq ilde{ heta}_1 r $、$ r riangleq ilde{ heta}_2 / ilde{ heta}_3^2 $ であり、$ ilde{ heta}_1 riangleq ilde{ heta}_1 $、$ ilde{ heta}_2 riangleq ilde{ heta}_2 $、$ ilde{ heta}_3 riangleq ilde{ heta}_3 $、$ ilde{ heta}_4 riangleq ilde{ heta}_4 $、$ ilde{ heta}_5 riangleq ilde{ heta}_5 $、$ ilde{ heta}_6 riangleq ilde{ heta}_6 $ である。