[論文レビュー] Overfitting or perfect fitting? Risk bounds for classification and regression rules that interpolate

Mikhail Belkin, Daniel Hsu+1 more|arXiv (Cornell University)|Jun 13, 2018

Adversarial Robustness in Machine Learning参考文献 2被引用数 85

ひとこと要約

本論文は、補間予測スキーム（たとえば simplicial interpolation および wiNN）を分析し、分類と回帰において一貫性またはほぼ一貫性を証明し、非漸近的かつミニマックス最適速を導出し、補間と敵対的例との関係を明らかにする。

ABSTRACT

Many modern machine learning models are trained to achieve zero or near-zero training error in order to obtain near-optimal (but non-zero) test error. This phenomenon of strong generalization performance for "overfitted" / interpolated classifiers appears to be ubiquitous in high-dimensional data, having been observed in deep networks, kernel machines, boosting and random forests. Their performance is consistently robust even when the data contain large amounts of label noise. Very little theory is available to explain these observations. The vast majority of theoretical analyses of generalization allows for interpolation only when there is little or no label noise. This paper takes a step toward a theoretical foundation for interpolated classifiers by analyzing local interpolating schemes, including geometric simplicial interpolation algorithm and singularly weighted $k$-nearest neighbor schemes. Consistency or near-consistency is proved for these schemes in classification and regression problems. Moreover, the nearest neighbor schemes exhibit optimal rates under some standard statistical assumptions. Finally, this paper suggests a way to explain the phenomenon of adversarial examples, which are seemingly ubiquitous in modern machine learning, and also discusses some connections to kernel machines and random forests in the interpolated regime.

研究の動機と目的

• 分類と回帰において訓練データを補間する予測子の理論的基盤を動機づけ、構築する。
• 標準的な滑らかさとマージン仮定の下で、局所的な補間スキームの一貫性またはほぼ一貫性を確立する。
• 非漸近的なリスク境界を導出し、マージン条件の下で、特定のスキームに対してミニマックス最適レートを含む改善されたレートを導く。
• 敵対的な例における補間の役割とカーネル法およびランダムフォレストとの関連性についての洞察を提供する。

提案手法

• 補間スキームを導入する： (i) 多変量三角形分割に基づくsimplicial interpolation、(ii) 奇異な半径重みを持つ加重補間最近傍法（wiNN）。
• 局所性の性質と補間挙動を用いて過剰リスクを直接境界付けすることにより、平均二乗誤差と分類リスクを分析する。
• 高次元での滑らかさとマージン条件の下で、simplicial interpolation がほぼBayesリスクを達成することを証明する；wiNN に対しても対応する結果と明示的なレートを提供する。
• 非漸近的収束レートを導出し、標準的な仮定の下でwiNNに対するミニマックス最適レートを示し、次元性がレートに与える影響を議論する（次元の恩恵）。
• 補間が敵対的な例を生む条件を確立し、補間された領域におけるそれらの豊富さを議論する。

実験結果

リサーチクエスチョン

• RQ1 標準的な滑らかさとマージン仮定の下で、補間型の分類器と回帰器は一貫性またはほぼ一貫性を達成できるのか。
• RQ2 Simplicial interpolation および wiNN のような補間スキームに対する有限サンプルおよび漸近的なリスク境界は何か。
• RQ3 高次元での補間法の性能はどうか、マージン条件の下でミニマックス最適または指数関数的に小さい過剰リスクを達成できるか。
• RQ4 補間、敵対的な例、カーネル法およびランダムフォレストとの関係は何か。
• RQ5 直接的な補間に基づく予測と、逆補間スキームとではリスクと一貫性の観点でどう比較されるか。

主な発見

• Simplicial interpolation は規則性条件の下で次元が増えると、階層的に線形で連続な予測子を生み出し、そのリスクはベイズリスクに近づく。
• Under a simple polytope support and Delaunay triangulation, the regression error bound satisfies limsup_n E[(hat_eta(X)−eta(X))^2] ≤ (2/(d+2)) E[(Y−eta(X))^2].
• 分類では hat_eta に基づくプラグイン分類器は、高次元で過剰リスクがベイズリスク近くになることを示す境界を達成し、厳しいマージン条件下で指数的改善（リスク境界が exp(-c d) に衰減）を得る。
• The wiNN scheme with singular weights achieves minimax-optimal convergence rates n^{-2α/(2α+d)} in regression and n^{-α/(2α+d)} in classification under standard regularity, margin, and density conditions.
• 解析は、ラベルノイズが存在する場合、補間は必然的に敵対的な例を生み出すことを示す。逆説的に、誤分類の質量が小さくても、敵対的なベイスンの集合は漸近的に密になる。