[論文レビュー] Exploiting Smoothness in Statistical Learning, Sequential Prediction, and Stochastic Optimization

Mehrdad Mahdavi|arXiv (Cornell University)|Jul 19, 2014

Machine Learning and Algorithms参考文献 150被引用数 3

ひとこと要約

本学位論文は、統計的学習、オンライン学習、確率的最適化における滑らかさを統合的に活用するフレームワークを提案する。滑らかさを新たなアルゴリズム（混合最適化や射影フリー手法を含む）によって活用することで、サンプル必要数の指数的改善、条件数に依存しない収束性、徐々に変化する損失関数に依存するレグレットバウンドを達成するとともに、あらゆる設定で統計的整合性と計算効率を維持する。

ABSTRACT

In the last several years, the intimate connection between convex optimization and learning problems, in both statistical and sequential frameworks, has shifted the focus of algorithmic machine learning to examine this interplay. In particular, on one hand, this intertwinement brings forward new challenges in reassessment of the performance of learning algorithms including generalization and regret bounds under the assumptions imposed by convexity such as analytical properties of loss functions (e.g., Lipschitzness, strong convexity, and smoothness). On the other hand, emergence of datasets of an unprecedented size, demands the development of novel and more efficient optimization algorithms to tackle large-scale learning problems. The overarching goal of this thesis is to reassess the smoothness of loss functions in statistical learning, sequential prediction/online learning, and stochastic optimization and explicate its consequences. In particular we examine how smoothness of loss function could be beneficial or detrimental in these settings in terms of sample complexity, statistical consistency, regret analysis, and convergence rate, and investigate how smoothness can be leveraged to devise more efficient learning algorithms.

研究の動機と目的

• 滑らかさが統計的学習、オンライン学習、確率的最適化において果たす役割を再評価すること。
• 収束速度とサンプル必要数の向上を図るため、滑らかさを活用するアルゴリズムの開発。
• 補助損失関数における滑らかさと統計的整合性の間のトレードオフの分析。
• 完全勾配への依存を減らしながらも高速収束を維持する効率的な最適化手法の設計。
• 大規模学習問題に適した射影フリーかつ制約を考慮したアルゴリズムの開発。

提案手法

• スパースな完全勾配の使用により、確率的勾配の分散を低減する混合最適化を導入。この手法は、確率的勾配法と完全勾配法の間を補間する。
• オンライン学習における新たな性能指標「徐々の変化（gradual variation）」を定義。これは、連続する損失関数間の距離の和として定義される。
• 最終反復でのみ1回の射影を必要とする射影フリー手法を設計。確率的最適化における計算コストを削減する。
• ソフト制約を備えたオンライン凸最適化を提案。これにより、サブ線形のレグレットバウンドと制約違反バウンドを達成する。
• 適切に設計された確率的最適化アルゴリズムに基づく構成的証明を用い、サンプル必要数の指数的改善を確立。
• 最適化誤差、一般化誤差、およびバイナリ過剰リスクの統一的分析により、滑らかさが有益となる条件を同定。

実験結果

リサーチクエスチョン

• RQ1 ターゲットリスクが既知である場合、損失関数の滑らかさが統計的学習におけるサンプル必要数にどのように影響するか。
• RQ2 補助損失関数の滑らかさが、統計的整合性およびバイナリ過剰リスクを向上または悪化させる条件は何か。
• RQ3 完全勾配へのアクセスなしに、滑らかさを活用して確率的最適化における収束速度を向上させることは可能か。
• RQ4 損失関数の徐々の変化をどのように活用することで、オンライン学習におけるレグレットバウンドを改善できるか。
• RQ5 計算コストを最小限に抑えつつ、サブ線形のレグレットバウンドを維持できる射影フリーかつ制約を考慮したアルゴリズムを設計可能か。

主な発見

• 滑らかさと強い凸性のもとで、ターゲットリスクが既知の場合、構成的確率的最適化アルゴリズムにより、サンプル必要数が指数的に改善される。
• 補助損失関数の滑らかさは、バイナリ過剰リスクを悪化させる可能性があり、計算効率と統計的整合性の間のトレードオフを浮き彫りにする。
• 提案された混合最適化手法は、決定的最適化では条件数に依存しない収束速度を達成し、確率的設定ではより高速な収束を実現する。
• 徐々の変化を活用することで、オンライン凸最適化におけるレグレットバウンドが向上し、非悪意的かつ滑らかに変化する環境で性能向上が可能になる。
• 射影フリー手法は最終反復でのみ1回の射影を必要とし、確率的最適化における計算コストを顕著に削減する。
• ソフト制約付きオンライン学習は、サブ線形のレグレットバウンドとサブ線形の制約違反バウンドを達成し、長期的整合性制約下での効率的学習を可能にする。