[論文レビュー] Towards Optimal Problem Dependent Generalization Error Bounds in Statistical Learning Theory

Yunbei Xu, Assaf Zeevi|arXiv (Cornell University)|Nov 12, 2020

Sparse and Compressive Sensing Techniques参考文献 80被引用数 4

ひとこと要約

本稿は、統計学習における問題依存の一般化誤差バインディングを導出するための新規フレームワークである「一様局所収束（uniform localized convergence）」を導入する。このフレームワークは、非凸学習、確率的最適化、欠損データ問題において、勾配降下法などの反復的アルゴリズムやモーメントペナルティ付き推定器が、有限標本下でほぼ最適な性能を達成できるように、ゆっくりと速い収束レートの両方において最適な分散および損失依存レートを達成する。

ABSTRACT

We study problem-dependent rates, i.e., generalization errors that scale near-optimally with the variance, the effective loss, or the gradient norms evaluated at the "best hypothesis." We introduce a principled framework dubbed "uniform localized convergence," and characterize sharp problem-dependent rates for central statistical learning problems. From a methodological viewpoint, our framework resolves several fundamental limitations of existing uniform convergence and localization analysis approaches. It also provides improvements and some level of unification in the study of localized complexities, one-sided uniform inequalities, and sample-based iterative algorithms. In the so-called "slow rate" regime, we provides the first (moment-penalized) estimator that achieves the optimal variance-dependent rate for general "rich" classes; we also establish improved loss-dependent rate for standard empirical risk minimization. In the "fast rate" regime, we establish finite-sample problem-dependent bounds that are comparable to precise asymptotics. In addition, we show that iterative algorithms like gradient descent and first-order Expectation-Maximization can achieve optimal generalization error in several representative problems across the areas of non-convex learning, stochastic optimization, and learning with missing data.

研究の動機と目的

• 統計学習理論における「豊富な（rich）」仮説クラスに対して、最適な問題依存一般化誤差バインディングが不足しているという問題に取り組む。
• 従来の一様収束および局所化手法（例えば、局所ラデマッハ複雑度）の制限、特に標本サイズ依存性が最適でない点を克服する。
• 局所複雑度、片側一様不等式、反復的アルゴリズムにおける正則化の既存手法を統合・改善する。
• 漸近的精度と一致する、有限標本かつ問題依存のバインディングを、ゆっくりと速い収束レートの両方のレジームで確立する。
• 勾配降下法や一次EMなどの反復的アルゴリズムが、非凸的および欠損データ設定において最適な問題依存一般化誤差を達成できることを示す。

提案手法

• 最適な仮説の周囲に収束を局所化するために、適応的トリンケーションレベルと「輪（rings）」における集中性を利用した、新規フレームワーク「一様局所収束」を提案する。
• 分散や勾配ノルムといった問題固有パラメータに依存する一様不等式を導出するため、柔軟な代替関数と集中関数のアプローチを採用する。
• 一般的な豊富なクラスにおいて、ゆっくりレートレジームで最適な分散依存レートを達成する、最初のモーメントペナルティ付き推定器を導入する。
• 最適な仮説付近での経験プロセスの挙動を分析するために、片側一様集中不等式を適用し、最悪ケースの一様バインディングを回避する。
• 局所複雑度測度と輪に基づく集中性を用いることで、仮説クラスに幾何的制限を課さない。
• パラメトリックな高速レートレジームにおいて、正確な漸近的挙動と同等の精度を持つ有限標本バインディングを確立する。零曲率条件（例：ハーバー損失）下でも有効である。

実験結果

リサーチクエスチョン

• RQ1 標本サイズにおいて最適であり、かつ分散や勾配ノルムといった問題固有パラメータにおいて鋭い一般化誤差バインディングを導出可能か？
• RQ2 局所ラデマッハ複雑度や勾配の一様収束といった既存の局所化技術を統合・改善する方法は何か？
• RQ3 勾配降下法や一次EMのような反復的アルゴリズムが、非凸的および欠損データ問題において最適な問題依存一般化誤差を達成可能か？
• RQ4 適応的トリンケーションと輪に基づく集中性が、よりタイトで局所化された収束バインディングを達成するために果たす役割は何か？
• RQ5 提案フレームワークが、従来手法が失敗する豊富な仮説クラスに対しても最適レートを達成可能か？

主な発見

• 本稿は、ゆっくりレートレジームにおいて一般的な「豊富な」クラスに対して最適な分散依存一般化誤差レートを達成する、最初のモーメントペナルティ付き推定器を提示する。
• 問題固有の損失構造を活用することで、標準的な経験的リスク最小化の損失依存レートが向上することを確立する。
• 高速レートレジームにおいて、弱い曲率条件下でも、漸近的結果と同等の精度を持つ有限標本バインディングを提供する。
• 勾配降下法や一次期待最大化（Expectation-Maximization）などの反復的アルゴリズムが、非凸的学習および欠損データ問題において最適な問題依存一般化誤差を達成できることを示す。
• フレームワークは、局所複雑度、片側一様不等式、ベクトルベースの収束結果を、一貫した原理的枠組みで統合する。
• 適応的トリンケーションと輪に基づく集中性を用いることで、仮説クラスに幾何的仮定を課さず、従来の局所化手法よりも広範な適用可能性を実現する。