[論文レビュー] Fast Rates of ERM and Stochastic Approximation: Adaptive to Error Bound Conditions

Mingrui Liu, Xiaoxuan Zhang+3 more|arXiv (Cornell University)|May 11, 2018

Sparse and Compressive Sensing Techniques被引用数 8

ひとこと要約

本稿は、誤差バウンド条件（EBC）の下で、経験的リスク最小化（ERM）および確率的近似（SA）に対して、高速かつ中間の収束速度を確立し、EBCのべき乗定数を事前に知らない状態で自動的に適応する。収束速度は Õ(1/√n) から Õ(1/n) までカバーされ、特殊な状況では1/nを上回る加速が可能である。単一パスのSAアルゴリズムを用いることで、効率的かつ適応的な性能を達成している。

ABSTRACT

Error bound conditions (EBC) are properties that characterize the growth of an objective function when a point is moved away from the optimal set. They have recently received increasing attention in the field of optimization for developing optimization algorithms with fast convergence. However, the studies of EBC in statistical learning are hitherto still limited. The main contributions of this paper are two-fold. First, we develop fast and intermediate rates of empirical risk minimization (ERM) under EBC for risk minimization with Lipschitz continuous, and smooth convex random functions. Second, we establish fast and intermediate rates of an efficient stochastic approximation (SA) algorithm for risk minimization with Lipschitz continuous random functions, which requires only one pass of $n$ samples and adapts to EBC. For both approaches, the convergence rates span a full spectrum between $\\widetilde O(1/\\sqrt{n})$ and $\\widetilde O(1/n)$ depending on the power constant in EBC, and could be even faster than $O(1/n)$ in special cases for ERM. Moreover, these convergence rates are automatically adaptive without using any knowledge of EBC. Overall, this work not only strengthens the understanding of ERM for statistical learning but also brings new fast stochastic algorithms for solving a broad range of statistical learning problems.

研究の動機と目的

• 誤差バウンド条件（EBC）の下での統計的学習における経験的リスク最小化（ERM）の理解を拡張すること。
• EBCのパラメータを事前に知らなくても、高速な収束速度を達成できる確率的近似（SA）アルゴリズムを開発すること。
• EBCの下で、ERMおよびSAの収束速度を、その背後にあるEBCに自動的に適応させ、収束速度を Õ(1/√n) から Õ(1/n) までカバーすること。
• リプシッツ連続および滑らかな凸確率関数を対象としたリスク最小化における高速レートの統一的枠組みを提供すること。

提案手法

• リプシッツ連続および滑らかな凸確率関数に対するEBC下でのERMの高速および中間の収束速度を導出する。
• EBCのべき乗定数を知らなくても適応可能な、効率的な単一パスの確率的近似アルゴリズムを提案する。
• 誤差バウンド条件を用いて、最適解集合の近傍における目的関数の増加を特徴づけ、より高速な収束速度を可能にする。
• EBCのべき乗定数に依存する収束速度を確立し、強いEBCではよりタイトなバウンドを達成する。
• 確率的近似と経験過程理論の技術を用いて、EBC下での収束挙動を分析する。
• 提案されたSAアルゴリズムが、チューニングやEBCパラメータの事前知識なしに、最適またはほぼ最適なレートを達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 EBCのべき乗定数を事前に知らない状態で、EBCの下でERMの高速収束速度を確立できるか？
• RQ2 EBCの下で、自動的に高速レートを達成できるような確率的近似アルゴリズムをどのように設計できるか？
• RQ3 EBCの強さが変化する条件下で、ERMおよびSAが達成可能な収束速度の全範囲は何か？
• RQ4 提案されたSAアルゴリズムは、EBCのパラメータが未知であっても、n個のサンプルを1回のパスで処理するだけで高速収束を維持できるか？
• RQ5 どのような条件下で、ERMがO(1/n)を上回る速度で収束できるか？

主な発見

• 本稿は、誤差バウンド条件（EBC）のべき乗定数に応じて、収束速度が Õ(1/√n) から Õ(1/n) まで変動するERMの収束速度を確立した。
• EBCが十分に小さいべき乗定数で成立する特殊な状況では、ERMの収束速度はO(1/n)を上回る。
• 提案された単一パスの確率的近似アルゴリズムは、EBCのパラメータを事前に知らなくても適応可能な高速および中間の収束速度を達成する。
• SAアルゴリズムの収束速度は自動的に適応され、EBCの強さに依存し、強いEBCではより高速な収束速度を達成する。
• 解析はリプシッツ連続および滑らかな凸確率関数をカバーしており、高速レートの適用範囲を広いクラスの統計的学習問題へ拡張する。
• 結果は、EBCの下で、ERMおよび提案されたSAアルゴリズムが最適またはほぼ最適な収束速度を達成できることを示しており、SAアルゴリズムは効率的で、データを1回のパスで処理する必要がある。