[論文レビュー] Finite-sample Analysis of Interpolating Linear Classifiers in the Overparameterized Regime

Niladri S. Chatterji, Philip M. Long|arXiv (Cornell University)|Apr 25, 2020

Machine Learning and Algorithms参考文献 78被引用数 22

ひとこと要約

本稿は、過パラメータ化された設定における最大マージン線形分類器の有限標本解析を提供しており、敵対的ラベルノイズが存在しても、十分な過パラメータ化により分類器がほぼ最適な母集団リスクを達成できることを示している。主な結果として、ガウス型のクラス条件付き分布や弱い依存性を持つ分布の下で、一般化誤差が標本サイズに対して指数関数的に減少することが示された。

ABSTRACT

We prove bounds on the population risk of the maximum margin algorithm for two-class linear classification. For linearly separable training data, the maximum margin algorithm has been shown in previous work to be equivalent to a limit of training with logistic loss using gradient descent, as the training error is driven to zero. We analyze this algorithm applied to random data including misclassification noise. Our assumptions on the clean data include the case in which the class-conditional distributions are standard normal distributions. The misclassification noise may be chosen by an adversary, subject to a limit on the fraction of corrupted labels. Our bounds show that, with sufficient over-parameterization, the maximum margin algorithm trained on noisy data can achieve nearly optimal population risk.

研究の動機と目的

• p > n の過パラメータ化された設定における最大マージン線形分類器の一般化性能を分析すること。
• 正則化なしのロジスティック損失に対する勾配降下法が、ノイズを含む訓練データをフィットさせてもなぜうまく一般化するのかを理解すること。
• 敵対的ラベルノイズおよび弱い情報を持つ特徴量の下で、母集団リスクの有限標本バウンドを確立すること。
• 過パラメータ化がノイズラベルの影響を軽減し、ほぼ最適なテスト誤差を達成できることを示すこと。

提案手法

• 正則化なしのロジスティック損失に対する勾配降下法の極限を分析し、それが最大 ℓ₂-マージン分類器に収束することを示している。
• 最近の結果を用いて、ロジスティック損失に対する勾配降下法が、最大マージン解へと暗黙的正則化することを示している。
• クラス条件付き分布（例：N(μ, I) および N(−μ, I)）と、最大 η の割合まで敵対的ラベルノイズを含む生成モデルを採用している。
• 集中不等式およびHoeffdingの補題を用いて、データポイントと期待値からのずれの内積を制御している。
• サブガウス型尾部バウンドおよびサンプル全体における和集合不等式を用いて、マージンおよび一般化誤差の高確率バウンドを導出している。
• 十分な過パラメータ化および高次元条件の下で、データの線形分離可能性を確立している。

実験結果

リサーチクエスチョン

• RQ1 p ≫ n の下で、敵対的ラベルノイズが存在する状況でも、最大マージン分類器は低母集団リスクを達成できるか？
• RQ2 過パラメータ化は、補間型線形分類器のラベルノイズに対するロバストネスにどのように影響するか？
• RQ3 弱い情報を持つ特徴量の下で、最大マージン解の有限標本一般化誤差は何か？
• RQ4 テスト誤差が標本サイズに対して指数関数的に減少する条件は何か？
• RQ5 ロジスティック損失に対する勾配降下法の暗黙的正則化は、高次元設定下で最適なリスクをもたらすか？

主な発見

• ガウス的かつ弱い依存性を持つ分布の下で、s, p, n が多項式的に関連する条件下で、母集団リスクは標本サイズ n に対して指数関数的に減少し、O(e^{-n^τ})（τ > 0）のオーダーで達成される。
• 十分な過パラメータ化の下では、最大 η のラベルが敵対的に破損していても、分類器はほぼ最適な母集団リスクを達成する。
• 一般化誤差は √(p log(n/δ)) および ‖μ‖² に依存する項によってバウンドされ、高次元性がノイズの影響を軽減することを示している。
• C が十分に大きいとき、p ≥ C max{‖μ‖²n, n² log(n/δ)} であれば、データの線形分離可能性が保証される。
• 解析により、ノイズの影響が p が増加するにつれて小さくなり、最終的な解への影響が軽減されることが示された。
• 内積およびずれの高確率バウンドにより、マージンが大きく保たれ、強力な一般化性能が達成されることが保証された。