[論文レビュー] Variance-based regularization with convex objectives

John C. Duchi, Hongseok Namkoong|arXiv (Cornell University)|Oct 8, 2016

Risk and Portfolio Optimization被引用数 21

ひとこと要約

本稿では、分布的ロバスト最適化とオ웬の経験的尤度を活用して、分散に基づくリスク最小化を近似する凸的かつ計算可能な正則化手法を提案する。バイアスとバイアスのバランスをとることで、経験的リスク最小化よりも高速な収束速度を達成し、理論的保証と実験的検証により、一般化性能の向上が示されている。

ABSTRACT

We develop an approach to risk minimization and stochastic optimization that provides a convex surrogate for variance, allowing near-optimal and computationally efficient trading between approximation and estimation error. Our approach builds off of techniques for distributionally robust optimization and Owen's empirical likelihood, and we provide a number of finite-sample and asymptotic results characterizing the theoretical performance of the estimator. In particular, we show that our procedure comes with certificates of optimality, achieving (in some scenarios) faster rates of convergence than empirical risk minimization by virtue of automatically balancing bias and variance. We give corroborating empirical evidence showing that in practice, the estimator indeed trades between variance and absolute performance on a training sample, improving out-of-sample (test) performance over standard empirical risk minimization for a number of classification problems.

研究の動機と目的

• 近似誤差と推定誤差のバランスをとる中で、計算が容易な分散の凸的サーヴィレートを構築すること。
• 実務上計算不能であるため、非凸な分散正則化リスク最小化の理論的裏付けのある代替手法を提供すること。
• 特に有限標本設定において、バイアスとバイアスのバランスを原理的に行い、一般化性能を向上させること。
• 提案されたロバスト正則化推定量の有限標本および漸近的収束保証を確立すること。
• 実験的に、本手法が分類タスクにおいて標準的な経験的リスク最小化を上回ることを示すこと。

提案手法

• 経験分布の周りのχ²ダイバージェンス近傍を用いた分布的ロバスト最適化フレームワークを採用し、ロバストリスク関数を定義する。
• 損失関数が凸である場合に凸性を保証するように、経験測度のρ半径のχ²ボール内での分布に対する期待損失の上界としてロバストリスクを定式化する。
• ロバストリスクは、母集団リスクに対するO(1/n)のタイトな近似であることが示され、主項として分散補正済み経験的リスクと小さな負の誤差項を含む。
• 最適化問題は双対分解により解かれ、1次元の凸最適化問題に還元され、二分探索によって解ける。
• 重要なサブルーチンとして、ソート済みの損失値と累積和を用いて最適確率重みを計算する手法が提供され、1イテレーションあたりO(log n)の時間計算量を達成する。
• アルゴリズムは2段階の手続きにより、サンプル点上の最適分布を効率的に計算する：活性インデックス集合の特定と、二分探索によるシフトパラメータηの解法。

実験結果

リサーチクエスチョン

• RQ1 分散に基づく正則化のための凸的サーヴィレートを構築可能か。理論的最適性と計算の実行可能性を両立できるか？
• RQ2 提案されたロバストリスク定式化は、バイアスとバイアスのバランスをとることで、経験的リスク最小化よりも高速な収束速度を達成できるか？
• RQ3 有限標本設定において、ロバストに正則化された推定量は、標準的な経験的リスク最小化と比較してどのように性能を発揮するか？
• RQ4 近似品質の観点から、ロバストリスクと分散補正済み経験的リスク（3）の関係は何か？
• RQ5 特に高次元または大規模な設定において、本手法は低コストの計算オーバーヘッドで効率的に実装可能か？

主な発見

• ロバストリスク $ R_n(\theta, \rho) $ は、母集団リスクに対する $ O(1/n) $-近似であり、経験的リスク最小化の $ O(1/\big\backslashsqrt{n}) $-バウンドよりも著しくタイトである。
• バイアスとバイアスのバランスを自動的にとることで、特定の状況下で経験的リスク最小化よりも高速な収束速度を達成する。
• ロバストリスクは、分散正則化リスク（3）に近く、誤差項 $ \rho_n(\theta) \leq 0 $ が $ O_P(1/n) $ であり、分散が大きい場合には高確率で消えることが示された。
• 実験結果により、複数の分類問題において、標準的な経験的リスク最小化よりも優れた汎化性能が確認された。
• 最適化手順は計算的に効率的であり、損失値のソート後は $ O(\log(1/\epsilon) \cdot \log n) $ の時間計算量で実行可能で、スケーラブルである。
• 最適性の証明が可能であり、任意の凸損失関数に適用可能で、全体の目的関数の凸性を保証する。