[論文レビュー] Learning From An Optimization Viewpoint

Karthik Sridharan|arXiv (Cornell University)|Apr 18, 2012

Machine Learning and Algorithms参考文献 84被引用数 19

ひとこと要約

本学位論文は、機械学習を最適化問題として再定式化し、Empirical Risk Minimization (ERM) などの従来の一様収束的手法が一般の学習設定では失敗するのに対し、Stochastic Approximation (SA) 手法は成功することを示している。順序付き被覆・被覆数を導入して学習可能性と実行可能性を特徴づけ、非 i.i.d. または構造的データにおいても、古典的な VC 型測度に比べてより緊密な境界を与える順序付き複雑度測度（例：順序付きファットシャラッジ次元）の有効性を示している。

ABSTRACT

In this dissertation we study statistical and online learning problems from an optimization viewpoint.The dissertation is divided into two parts : I. We first consider the question of learnability for statistical learning problems in the general learning setting. The question of learnability is well studied and fully characterized for binary classification and for real valued supervised learning problems using the theory of uniform convergence. However we show that for the general learning setting uniform convergence theory fails to characterize learnability. To fill this void we use stability of learning algorithms to fully characterize statistical learnability in the general setting. Next we consider the problem of online learning. Unlike the statistical learning framework there is a dearth of generic tools that can be used to establish learnability and rates for online learning problems in general. We provide online analogs to classical tools from statistical learning theory like Rademacher complexity, covering numbers, etc. We further use these tools to fully characterize learnability for online supervised learning problems. II. In the second part, for general classes of convex learning problems, we provide appropriate mirror descent (MD) updates for online and statistical learning of these problems. Further, we show that the the MD is near optimal for online convex learning and for most cases, is also near optimal for statistical convex learning. We next consider the problem of convex optimization and show that oracle complexity can be lower bounded by the so called fat-shattering dimension of the associated linear class. Thus we establish a strong connection between offline convex optimization problems and statistical learning problems. We also show that for a large class of high dimensional optimization problems, MD is in fact near optimal even for convex optimization.

研究の動機と目的

• 統計的学習およびオンライン学習を最適化問題として再定式化し、学習、最適化、一般化の間の関係をより深く理解すること。
• 古典的な一様収束理論（例：VC 複雑度、ラデマッハ複雑度）が一般の学習問題における学習可能性を特徴づける際の限界を調査すること。
• 統計的およびオンライン学習における学習可能性と実行可能性を分析する新しい理論枠組みを、順序付き被覆数および順序付き被覆数に基づいて確立すること。
• Stochastic Approximation (SA) が、凸な設定においても Empirical Risk Minimization (ERM) が失敗する状況で学習保証を提供できることを示すこと。
• 順序付き複雑度測度（例：順序付きファットシャラッジ次元）を用いて、凸学習問題のオракル複雑度および収束速度を特徴づけること。

提案手法

• 学習を確率的最適化問題として定式化し、ERM（サンプル平均近似）と SA 手法の違いを明確にしている。
• 深さ $ n $ の木構造上の関数族の複雑度を測る順序付き被覆数 $ N^\text{seq}_p(\alpha, \mathcal{F}, z) $ を導入し、経路依存的挙動を捉えている。
• 弱被覆 $ D_p(\alpha, \mathcal{F}, z) $ と強被覆 $ M_p(\alpha, \mathcal{F}, z) $ の2種類の被覆を定義し、後者は共通の経路上で分離を要件としている。
• 不等式 $ M_p(2\alpha, \mathcal{F}, z) \leq N^\text{seq}_p(\alpha, \mathcal{F}, z) \leq D_p(\alpha, \mathcal{F}, z) $ を確立し、順序付き設定における被覆と被覆の関連を結びつけた。
• 組合せ的境界を証明：$ N^\text{seq}_\infty(1/2, \mathcal{F}, n) \leq \sum_{i=0}^d \binom{n}{i} k^i \leq (ekn)^d $ で、$ d = \text{fat}^\text{seq}_2(\mathcal{F}) $ であり、これは木構造への Sauer–Shelah の補題の一般化である。
• 離散化と順序付き複雑度を用いて、凸学習問題におけるオラクル複雑度および収束速度の境界を導出している。

実験結果

リサーチクエスチョン

• RQ1 なぜ一様収束理論は、一般の統計的学習問題における学習可能性を特徴づけないのか？
• RQ2 Stochastic Approximation (SA) は、凸な設定においても、Empirical Risk Minimization (ERM) が失敗する状況で学習保証を提供できるか？
• RQ3 順序付き被覆数および被覆数は、古典的な VC やラデマッハに基づく測度と比べて、関数族の複雑度をどのように異なる方法で捉えているか？
• RQ4 順序付きファットシャラッジ次元は、非 i.i.d. または構造的設定における学習可能性および収束速度を決定づける役割を果たすか？
• RQ5 凸学習問題のオラクル複雑度は、$ N^\text{seq}_p(\alpha, \mathcal{F}, z) $ のような順序付き複雑度測度とどのように関係しているか？

主な発見

• 凸な学習問題において、Stochastic Approximation (SA) を用いることで成功した学習が可能であるが、ERM は意味のある一般化保証を提供できない反例が構成された。
• 順序付き被覆数 $ N^\text{seq}_\infty(1/2, \mathcal{F}, n) $ は $ (ekn)^d $ で有界であり、$ d = \text{fat}^\text{seq}_2(\mathcal{F}) $ である。これは、木構造への Sauer–Shelah の補題の拡張である。
• 弱被覆数と強被覆数の間のギャップは最大で $ 2^n $ に達する可能性があり、これは順序付き設定における経路固有の分離の重要性を強調している。
• 不等式 $ M_p(2\alpha, \mathcal{F}, z) \leq N^\text{seq}_p(\alpha, \mathcal{F}, z) \leq D_p(\alpha, \mathcal{F}, z) $ は、順序付き被覆と被覆の緊密な関連を確立し、新たな一般化境界の導出を可能にしている。
• この枠組みにより、順序付き複雑度測度（例：順序付きファットシャラッジ次元）が、オンライン学習や非 i.i.d. 学習問題の分析に、古典的測度よりも適していることが示された。
• 結果として、最適化に基づく学習（SA を通じて）は、古典的な ERM に基づくアプローチが失敗する状況でも成功することが示された。これは、問題が凸であっても同様に成り立つ。