[論文レビュー] Interpolating Classifiers Make Few Mistakes

Tengyuan Liang, Benjamin Recht|arXiv (Cornell University)|Jan 28, 2021

Face and Expression Recognition参考文献 26被引用数 15

ひとこと要約

本稿は、最小ノルム補間分類器（MNIC）と正則化最小二乗法分類（RLSC）の理論的分析を提供し、穏やかな条件下で一般化性能が優れていることを示している。初等的な行列代数と確率的仮定を用いて、誤り数の上限と一般化速度が、補間解の二乗ノルムをデータポイント数で割ったものに比例することを導出し、古典的なマージンに基づくレートと一致し、これらの手法の実験的成功を説明している。

ABSTRACT

This paper provides elementary analyses of the regret and generalization of minimum-norm interpolating classifiers (MNIC). The MNIC is the function of smallest Reproducing Kernel Hilbert Space norm that perfectly interpolates a label pattern on a finite data set. We derive a mistake bound for MNIC and a regularized variant that holds for all data sets. This bound follows from elementary properties of matrix inverses. Under the assumption that the data is independently and identically distributed, the mistake bound implies that MNIC generalizes at a rate proportional to the norm of the interpolating solution and inversely proportional to the number of data points. This rate matches similar rates derived for margin classifiers and perceptrons. We derive several plausible generative models where the norm of the interpolating classifier is bounded or grows at a rate sublinear in $n$. We also show that as long as the population class conditional distributions are sufficiently separable in total variation, then MNIC generalizes with a fast rate.

研究の動機と目的

• 最小ノルム補間分類器（MNIC）と正則化最小二乗法分類（RLSC）の分類タスクにおける強力な実験的性能の理論的説明を提供すること。
• 行列の逆行列補題と線形代数の性質のみに依存して、任意のデータセットに対して成立するMNICの誤り数の上限を導出すること。
• 独立同分布（i.i.d.）データの仮定の下で、MNICの一般化速度が $ B_n^2 / n $ に比例することを示すこと。ここで $ B_n $ は補間解の期待ノルムである。
• 補間解のノルムが $ n $ に対して非線形的に増加するような妥当な生成モデルを同定し、高速な一般化を保証すること。
• 特に全変動距離における分離性という条件下で、MNICが高速な一般化速度を達成することを確立すること。

提案手法

• 行列の逆行列補題を2回適用することで、MNICの誤り数の上限を導出し、線形代数的性質のみに依存する。
• 誤り数の上限にマルコフの不等式を適用し、i.i.d.データの仮定の下で一般化誤差率が $ B_n^2 / n $ に比例することを導出する。
• 集中不等式とランダム行列理論を用いて、さまざまな確率的データモデルにおける解のノルム $ \|\widehat{f}_{S_n}\|_K $ の増加を分析する。
• ベイズ誤差と一般化境界を結びつけるために、条件付き期待値 $ \eta_\star(x) = \mathbb{P}(y=+1|x) - \mathbb{P}(y=-1|x) $ を導入する。
• クラス条件付き分布 $ P_+ $ と $ P_- $ 間の全変動距離を用いて、期待ベイズ誤差 $ \mathcal{E}(X) $ の境界を確立する。
• ママルン＝ツバックォフとマッサールトのノイズ条件を活用し、ベイズ誤差を制御し、一般化境界における非最適レートを保証する。

実験結果

リサーチクエスチョン

• RQ1 最小ノルム補間分類器が訓練ラベルを完全に補間しても、どのような条件下で一般化性能が優れているのか？
• RQ2 データ分布に依存しない、初等的な行列代数のみを用いてMNICの誤り数の上限を導出できるか？
• RQ3 補間解のノルムはサンプルサイズ $ n $ とともにどのように増加するのか？ どのようなデータモデルでこの増加が非線形的になるか？
• RQ4 クラス条件付き分布間の全変動距離は、低一般化誤差を保証するために果たす役割は何か？
• RQ5 MNICの一般化速度は、パーセプトロンやSVMのようなマージンベース分類器と同等またはそれ以上に達成できるか？

主な発見

• MNICの誤り数の上限は、任意のデータセットに対して条件なしに成立し、行列の逆行列補題を2回適用するだけで直ちに導出可能である。
• i.i.d.抽出の下で、MNICの一般化誤差は $ B_n^2 / n $ に比例する。ここで $ B_n $ は補間解の期待ノルムであり、古典的なマージンベースのレートと一致する。
• 全変動距離における十分なクラス分離性があるデータモデルでは、ベイズ誤差 $ \mathcal{E}(X) $ は小さくなり、高速な一般化速度が得られる。
• パラメータ $ \alpha \in [0,1] $ のママルン＝ツバックォフノイズ条件の下で、期待ベイズ誤差は $ C_0 \cdot \frac{2(1-\alpha)}{2-\alpha} $ で有界であり、$ \alpha = 1 $ のとき誤差はゼロになる。
• 十分な分離性を持つガウス混合モデルでは、ベイズ誤差は高確率で $ O(1/n) $ であり、一般化誤差も $ O(1/n) $ となる。
• 妥当な生成モデル（例えば、$ \|\eta_\star\|_K $ が有界で、十分なクラス分離性があるもの）では、補間解のノルムが $ n $ に対して非線形的に増加する。