[論文レビュー] High Dimensional Classification via Regularized and Unregularized Empirical Risk Minimization: Precise Error and Optimal Loss

Xiaoyi Mai, Zhenyu Liao|arXiv (Cornell University)|May 31, 2019

Statistical Methods and Inference参考文献 40被引用数 10

ひとこと要約

本稿は、正則化ありおよび正則化なしのモデルを用いた、Empirical Risk Minimization（ERM）を用いた高次元設定における分類誤差の正確な理論的分析を提供する。二クラスのガウス混合モデル下で、あらゆる標本サイズおよび次元性のスケールにおいて、平方損失が他の凸損失関数を常に上回り、正則化付きおよび正則化なしの両ケースで最適な分類性能を達成することを示している。

ABSTRACT

This article provides, through theoretical analysis, an in-depth understanding of the classification performance of the empirical risk minimization framework, in both ridge-regularized and unregularized cases, when high dimensional data are considered. Focusing on the fundamental problem of separating a two-class Gaussian mixture, the proposed analysis allows for a precise prediction of the classification error for a set of numerous data vectors $\mathbf{x} \in \mathbb R^p$ of sufficiently large dimension $p$. This precise error depends on the loss function, the number of training samples, and the statistics of the mixture data model. It is shown to hold beyond Gaussian distribution under some additional non-sparsity condition of the data statistics. Building upon this quantitative error analysis, we identify the simple square loss as the optimal choice for high dimensional classification in both ridge-regularized and unregularized cases, regardless of the number of training samples.

研究の動機と目的

• p ≈ n または p > n である高次元設定における、Empirical Risk Minimization（ERM）の分類性能を理解すること。
• 二クラスのガウス混合モデル下で、正則化ありおよび正則化なしの両モデルにおける正確な分類誤差を定量化すること。
• 標本サイズや次元性に依存しない、高次元分類における最適な損失関数を特定すること。
• データ構造にやや非スパースな条件が成り立つ場合に、ガウス分布に限定されない理論的知見を拡張すること。

提案手法

• 高次元スケールにおけるEmpirical Risk Minimizerの漸近的挙動を分析するため、二重のleave-one-out手法を用いる。
• ランダム行列理論およびConvex Gaussian Min-max Theorem（CGMT）のツールを適用して、解の経路を特徴付ける。
• 損失関数、トレーニング標本サイズ、およびデータモデル統計量の関数として、分類誤差の正確な表現を導出する。
• モデル下で重みベクトルのノルムがO(p^{-1/2})のスケーリングを示し、誤差の定量化を可能にする。
• 損失関数の2次近似および条件付き期待値を用いて、分類器の漸近的挙動を導出する。
• 特徴相関と次元性を制御した合成データ上の数値シミュレーションを通じて、理論的予測の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 p ≈ n または p > n である高次元設定下で、Empirical Risk Minimizationの正確な分類誤差は何か？
• RQ2 標本数が特徴次元より著しく大きくない場合、損失関数の選択が分類性能に与える影響は何か？
• RQ3 標本サイズに依存せず、普遍的に最適な損失関数は存在するか？
• RQ4 ガウス分布に限定された理論的知見が、相関のある特徴を持つ非ガウス分布へどの程度一般化可能か？
• RQ5 リッジ正則化は、高次元スケール下で分類誤差にどのように影響を与えるか？

主な発見

• 正則化ありおよび正則化なしの両ケースにおいて、平方損失が高次元分類において、訓練サンプル数にかかわらず最適であることが証明された。
• 分類誤差は、損失関数、トレーニング標本サイズ、およびデータモデルパラメータ（平均シフトおよび共分散構造を含む）の関数として正確に特徴づけられた。
• データ統計に非スパース性条件が成り立つ限り、ガウス分布に限定されない状況でも誤差式は有効であり、分布仮定に対して頑健であることが示された。
• 重みベクトルのノルムがO(p^{-1/2})にスケーリングされることにより、漸近的に正確な誤差式の導出が可能となった。
• 数値的妥当性確認により、理論的予測と観測誤差との間で強い一致が確認され、次元および標本サイズが変化するあらゆる状況で成立した。
• 相関のある特徴を示すデータに対しても、平方損失の最適性能が維持されることから、構造的高次元設定においてその頑健性が顕著に示された。