[論文レビュー] The role of regularization in classification of high-dimensional noisy Gaussian mixture

Francesca Mignacco, Florent Krząkała+2 more|arXiv (Cornell University)|Feb 26, 2020

Advanced Scientific Research Methods被引用数 32

ひとこと要約

この論文は、ノイズがある高次元の二峰性ガウス混合に対する正則化された凸分類器（リッジ、ヒンジ、ロジスティック）の厳密な漸近解析を提供し、汎化誤差と訓練誤差の固定点式を導出し、Bayes最適性能と比較する。

ABSTRACT

We consider a high-dimensional mixture of two Gaussians in the noisy regime where even an oracle knowing the centers of the clusters misclassifies a small but finite fraction of the points. We provide a rigorous analysis of the generalization error of regularized convex classifiers, including ridge, hinge and logistic regression, in the high-dimensional limit where the number $n$ of samples and their dimension $d$ go to infinity while their ratio is fixed to $\\alpha= n/d$. We discuss surprising effects of the regularization that in some cases allows to reach the Bayes-optimal performances. We also illustrate the interpolation peak at low regularization, and analyze the role of the respective sizes of the two clusters.

研究の動機と目的

• ノイズと未知の重心を持つガウス混合における高次元分類の研究を動機づける。
• リッジ、ヒンジ、ロジスティック損失下での一般化誤差と訓練誤差の厳密な漸近式を導出する。
• 正則化強度とクラスタサイズがBayes最適性能への近接度にどう影響するかを分析する。
• 高次元極限における訓練損失の景観と分離性転移を特徴づける。

提案手法

• 重心とノイズを持つ二群のガウス混合としてデータをモデル化し、凸損失関数を用いた正則化された経験的リスク最小化を研究する。
• Gordonのミニマックス不等式を用いて高次元最適化を扱いやすい補助問題へ変換する。
• 一般化/訓練量を決定するオーバーラップ m, 長さ q, および補助変数 (gamma, 祟hat m, 祟hat q, 祟hat gamma) の固定点方程式を導出する。
• Q関数を用いた一般化誤差の明示的表現と、d -> ∞ 極限における訓練損失を提供する。
• Bayes最適推定量と、特定の領域でBayes最適性能を達成できるプラグイン型Hebb様推定量を分析する。
• レプリカ理論とAMPの状態方程式による解釈を議論する。

実験結果

リサーチクエスチョン

• RQ1 正則化（リッジ、ヒンジ、ロジスティック）はノイズ下の高次元ガウス混合分類における一般化誤差にどう影響するか。
• RQ2 高次元極限での真の重心とのオーバーラップおよび分類器のノルムを支配する固定点関係は何か。
• RQ3 正則化された経験的リスク最小化はどの程度Bayes最適性能を達成できるのか、どの条件下でか。
• RQ4 クラスタサイズの非対称性（rho != 0.5）は分離性、補間挙動、および最適な正則化にどのように影響するか。
• RQ5 高次元における訓練損失の景観の構造はどのようで、分離性のフェーズ転移とどう関連するか。

主な発見

• 高次元極限における正則化下の任意の凸損失について、一般化と訓練誤差の厳密な閉形式の漸近式が得られる。
• 一般化誤差は m、q、gamma、および b を含む固定点系として与えられ、m と q は hat_m、hat_q、lambda、hat_gamma で表される。
• 特定のプラグイン推定量（例：Hebb型重み）により、いくつかの領域でBayes最適性能に到達可能である一方、正則化ERMは常にそれを達成しない場合がある。
• 正則化は性能を向上させ、対称な場合にはλが大きくなるとBayes最適性能をもたらすことがある一方、非対称な場合には最適なλが有限のままである。
• 線形に分離可能なデータでは、ヒンジ損失とロジスティック損失は正則化が消えると同じテスト誤差に収束し、暗黙の正則化とダブルデセント現象との関係を示す。
• 分離性の相転移境界を生み出し、alpha* はクラスタ分散と rho に依存する。データはこの閾値以下で完全に分離可能となり、MLEはそれを超えて存在しないことがある。
• 中程度の次元（例：d=1000）での数値シミュレーションが理論的予測を裏付ける。