[論文レビュー] Benign Overfitting in Multiclass Classification: All Roads Lead to Interpolation

Ke Wang, Vidya Muthukumar+1 more|arXiv (Cornell University)|Jun 21, 2021

Machine Learning and Data Classification参考文献 69被引用数 13

ひとこと要約

本論文は、高次元多クラス線形分類において、交差エントロピー損失または最小二乗損失を用いた経験的リスク最小化、および1対多SVMのすべてが、十分な過パラメータ化のもとで同一の補間解に収束し、一般化性能も同一であることを確立している。また、ガウス・ミックス・モデルや多項ロジスティック回帰モデルに従うデータに対して、二値分類の既存結果を高次元多クラス設定に拡張し、非漸近的で厳密な境界を用いて、普遍的な良性過適合（benign overfitting）が成立することを証明している。

ABSTRACT

The literature on "benign overfitting" in overparameterized models has been mostly restricted to regression or binary classification; however, modern machine learning operates in the multiclass setting. Motivated by this discrepancy, we study benign overfitting in multiclass linear classification. Specifically, we consider the following training algorithms on separable data: (i) empirical risk minimization (ERM) with cross-entropy loss, which converges to the multiclass support vector machine (SVM) solution; (ii) ERM with least-squares loss, which converges to the min-norm interpolating (MNI) solution; and, (iii) the one-vs-all SVM classifier. First, we provide a simple sufficient deterministic condition under which all three algorithms lead to classifiers that interpolate the training data and have equal accuracy. When the data is generated from Gaussian mixtures or a multinomial logistic model, this condition holds under high enough effective overparameterization. We also show that this sufficient condition is satisfied under "neural collapse", a phenomenon that is observed in training deep neural networks. Second, we derive novel bounds on the accuracy of the MNI classifier, thereby showing that all three training algorithms lead to benign overfitting under sufficient overparameterization. Ultimately, our analysis shows that good generalization is possible for SVM solutions beyond the realm in which typical margin-based bounds apply.

研究の動機と目的

• 良性過適合の理論的理解における多クラス分類のギャップを埋めること。これまでの研究は回帰および二値分類に限られていた。
• 異なる学習アルゴリズム（交差エントロピー損失を用いたERM、最小二乗損失を用いたERM、1対多SVM）が同一の補間解を生成する条件を確立すること。
• ガウス・ミックス・モデル（GMM）および多項ロジスティック回帰モデル（MLM）の下で、最小ノルム補間（MNI）分類器の非漸近的一般化境界を導出すること。
• 高次元多クラス設定において、古典的なマージンに基づく境界が一般化性能を予測できず、それでも補間が良好な性能を示すことを示すこと。
• 二値分類で観察された二乗損失と交差エントロピー損失の等価性が、有効な過パラメータ化のもとで多クラス分類に拡張されることを示すこと。

提案手法

• 多クラスSVM、1対多SVM（単体符号化を用いる）、最小ノルム補間（MNI）解が同一であり、すべての訓練データ点を補間するための決定論的十分条件を提案する。
• 幾何学的および確率的議論を用いて、高次元ガウス・ミックス・モデル（GMM）または多項ロジスティック回帰モデル（MLM）の下で、この十分条件が高確率で成立することを示す。
• 和集合の不等式と集中不等式を適用し、1対多（OvA）および1対1（OvO）SVM分類器の分類誤差に対する高確率境界を導出する。
• 対称性と高次元集中の性質を活用し、マージンに基づく一般化境界と関連付けることで、MNI解の分類誤差に対する非漸近的境界を導出する。
• 二乗損失と交差エントロピー損失が、同じ過パラメータ化の下で同一の補間解および一般化性能をもたらすという点で等価であることを示す。
• 高次元確率論およびランダム行列理論の道具を用いて、次元と標本サイズの増加に伴う分類器の挙動を分析する。

Figure 1: Contributions and organization.

実験結果

リサーチクエスチョン

• RQ1 多クラス分類において、交差エントロピー損失、最小二乗損失、1対多SVMのすべてが同一の補間解を生成する条件は何か？
• RQ2 二値分類の範囲を超えて、多クラス線形分類における良性過適合を厳密に確立できるか？
• RQ3 高次元多クラス設定において、良い一般化性能が観察されても、古典的なマージンに基づく一般化境界が性能を予測できないのはなぜか？
• RQ4 3つの学習アルゴリズムがすべてゼロの訓練誤差と良好なテスト精度を達成する非漸近的過パラメータ化の閾値は存在するか？
• RQ5 二値分類で観察された二乗損失と交差エントロピー損失の等価性は、同じ過パラメータ化条件下で多クラス問題に拡張可能か？

主な発見

• 多クラスSVM、1対多SVM（単体符号化を用いる）、最小ノルム補間（MNI）解が同一であり、すべての訓練データ点を補間する決定論的十分条件が導出された。
• ガウス・ミックス・モデル（GMM）および多項ロジスティック回帰モデル（MLM）の下で、次元数pがn、k、およびクラス平均のノルムに依存する非漸近的閾値を超えると、この十分条件が高確率で成立する。
• MNI分類器の分類誤差は、クラス平均のノルムと過パラメータ化比に依存する指数的減少項によって抑えられ、マージンに基づく境界が失敗しても一般化が可能であることを示している。
• 1対多（OvA）SVMとMNI解は、同じ十分条件のもとで等価であり、過パラメータ化が成立する場合、確率的に少なくとも1 - c₁/n - c₂k exp(-n/(c₃k²)) の確率で等価である。
• 1対1（OvO）SVM分類器も同様の過パラメータ化条件下で良性過適合を達成し、分類誤差は単一の二値分類器の誤差の(k-1)倍に抑えられ、クラス平均ノルムの増加に伴い誤差が指数的に減少する。
• 本論文は、交差エントロピー損失と最小二乗損失の一般化性能における等価性が多クラス分類に拡張されることを確立し、十分な過パラメータ化のもとで両損失が同一の補間解をもたらすことを示した。

Figure 2: Inner products $\mathbf{W}_{\text{SVM}}\mathbf{x}_{c}\in\mathbb{R}^{4}$ for features $\mathbf{x}_{i}$ that each belongs to the $c$ -th class for $c\in[k]$ and $k=4$ total classes. The red lines correspond to the values $(k-1)/k=3/4$ and $-1/k=-1/4$ of the simplex encoding described in Theo