[論文レビュー] Beyond Least-Squares: Fast Rates for Regularized Empirical Risk Minimization through Self-Concordance

Ulysse Marteau-Ferey, Dmitrii M. Ostrovskii+2 more|arXiv (Cornell University)|Feb 8, 2019

Statistical Methods and Inference参考文献 37被引用数 20

ひとこと要約

この論文は、損失関数の自己同一性を活用することで、最小二乗法を超える正則化された経験的リスク最小化の高速で非漸近的な収束速度を確立する。自己同一性下でのバイアス・バリアンス分解を導入し、適応的なソース条件および容量条件を用いることで、ロジスティック回帰などの一般化線形モデルにおいて、1/√n よりも速い収束が達成可能である。

ABSTRACT

We consider learning methods based on the regularization of a convex empirical risk by a squared Hilbertian norm, a setting that includes linear predictors and non-linear predictors through positive-definite kernels. In order to go beyond the generic analysis leading to convergence rates of the excess risk as $O(1/\\sqrt{n})$ from $n$ observations, we assume that the individual losses are self-concordant, that is, their third-order derivatives are bounded by their second-order derivatives. This setting includes least-squares, as well as all generalized linear models such as logistic and softmax regression. For this class of losses, we provide a bias-variance decomposition and show that the assumptions commonly made in least-squares regression, such as the source and capacity conditions, can be adapted to obtain fast non-asymptotic rates of convergence by improving the bias terms, the variance terms or both.

研究の動機と目的

• 最小二乗法を超える損失関数における正則化された経験的リスク最小化（ERM）の非漸近的解析におけるギャップを埋める。
• より強い正則性仮定を導入することで、標準的な O(1/√n) の過剰リスクレートを超える高速収束を達成する。
• 最小二乗法で一般的に用いられるソース条件および容量条件を、自己同一性を持つ損失関数へと拡張し、バイアスとバリアンスの制御を改善する。
• 最適パラメータ回りでの損失関数の局所的2次近似を非漸近的に捉える非漸近的解析を提供する。

提案手法

• 個々の損失関数が自己同一性を満たすと仮定する。これは、3階微分が2階微分によって有界であることを意味する。
• 正則化された ERM 問題を、経験的リスクにヒルベルトノルムの2乗正則化項を加えた最小化問題として定式化する。
• 自己同一性下での過剰リスクのバイアス・バリアンス分解を導出し、最小二乗法と類似したがよりタイトな境界を得る。
• 自己同一性設定に適応したソース条件および容量条件を導入し、バイアスおよびバリアンス項の制御を向上させる。
• 濃縮不等式（例えば、ヒルベルト＝シュミットノルムにおけるベルンシュタイン不等式）を用いて、経験的ヘッセ行列と母集団ヘッセ行列の差の偏差を束縛する。
• 正則化されたヘッセ行列と経験的ヘッセ行列の差の作用素ノルムに対する非漸近的境界を確立し、解の安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 最小二乗法を超える正則化された ERM において、非漸近的高速収束レートを達成できるか？
• RQ2 自己同一性を持つ損失関数に適応したソース条件および容量条件は、どのようにバイアスとバリアンス項を改善できるか？
• RQ3 自己同一性は、損失関数の非漸近的局所的2次近似を可能にする上で果たす役割は何か？
• RQ4 自己同一性のもとで、過剰リスクが O(1/√n) よりも小さく抑えられるか？その条件は何か？
• RQ5 自己同一性のもとで、正則化パラメータ λ と標本サイズ n が、境界にどのように依存するか？

主な発見

• 自己同一性のもとで、正則化された ERM の過剰リスクが、バイアス項とバリアンス項の両方の改善により、O(1/√n) よりも速いレートに達することが示された。
• バリアンス項は、母集団損失のヘッセ行列に関する容量条件により改善され、最小二乗法のケースと類似しているが、自己同一性を持つ損失関数へと拡張された。
• バイアス項は、最適予測子 θ⋆ の正則性をヘッセ作用素の観点から制御するソース条件により改善された。
• 濃縮不等式を用いて、ヘッセ行列の差の作用素ノルムに対する非漸近的境界が導出され、正則化解の安定性が保証された。
• 解析により、自己同一性下での ERM 評価統計量の挙動が、非漸近的にも局所的2次近似と等価であることが示された。
• 経験的ヘッセ行列の集中を保証するための標本サイズ n の十分条件が導出され、λ、δ、損失作用素のトレースの上限に明示的な依存関係を示した。