[論文レビュー] Distributional Generalization: A New Kind of Generalization

Preetum Nakkiran, Yamini Bansal|arXiv (Cornell University)|Sep 17, 2020

Machine Learning and Data Classification参考文献 87被引用数 13

ひとこと要約

本稿では、ラベルノイズ下でもテストデータにおける分類器の出力分布が訓練データにおける出力分布とよく一致する、分布一般化と呼ばれる新しい一般化の形式を導入する。主な発見は、ニューラルネットワーク、カーネル機械、決定木などの補間モデルが、訓練集合とテスト集合の間でラベルノイズの統計的構造を保持することであり、これは古典的一般化理論が捉えきれないものである。

ABSTRACT

We introduce a new notion of generalization -- Distributional Generalization -- which roughly states that outputs of a classifier at train and test time are close *as distributions*, as opposed to close in just their average error. For example, if we mislabel 30% of dogs as cats in the train set of CIFAR-10, then a ResNet trained to interpolation will in fact mislabel roughly 30% of dogs as cats on the *test set* as well, while leaving other classes unaffected. This behavior is not captured by classical generalization, which would only consider the average error and not the distribution of errors over the input domain. Our formal conjectures, which are much more general than this example, characterize the form of distributional generalization that can be expected in terms of problem parameters: model architecture, training procedure, number of samples, and data distribution. We give empirical evidence for these conjectures across a variety of domains in machine learning, including neural networks, kernel machines, and decision trees. Our results thus advance our empirical understanding of interpolating classifiers.

研究の動機と目的

• 古典的一般化理論の限界に対処すること。この理論は平均テスト誤差にのみ注目しており、分類器の出力分布を無視している。
• 分類器の出力が入力ドメイン全体にどのように分布するかを捉える新しい一般化の形式である「分布一般化」を形式化すること。
• 補間モデル（例：深層畳み込みニューラルネットワーク、カーネル機械、決定木）が訓練集合からテスト集合へラベルノイズのパターンを保持することを実証的に示すこと。
• この挙動は、平均誤差が最適でない場合でも、モデルがp(y|x)の条件付き分布を模倣できる能力に起因すると仮説を立てること。
• 補間モデルと非補間モデルを区別すること。補間モデルはラベルの記憶だけでなく、データ分布の構造的性質を引き継いでいることを示すこと。

提案手法

• 2つの主要な分布を定義する：訓練入力上での(x, f(x))の結合分布である「訓練分布」D_tr と、テスト入力上での「テスト分布」D_te。
• 分布一般化を、すべての有界なテストT ∈ Tに対して、D_trとD_teの下でのTの期待値がほぼ等しいという条件として提案する。
• 補間モデルに対して、特定のテスト族Tの下でD_trとD_teが統計的に近いという「補間不能性の仮説」（式3）を導入する。
• 幅広いモデル（WideResNet、カーネル機械、決定木）とデータセット（CIFAR-10、ImageNet、UCI）を用いた実験的評価により、この仮説を検証する。
• 例えば「30％のネコが『オブジェクト』に誤ってラベル付けされる」など、制御されたラベルノイズを用いた実験を設計し、誤差分布が訓練からテストへ一般化するかをテストする。
• アンサンブル化を適用し、独立した初期化と独立した訓練集合の両方で結果を比較することで、分布一般化の頑健性と一貫性を評価する。

実験結果

リサーチクエスチョン

• RQ1 補間により訓練された分類器は、訓練集合で導入されたラベルノイズの分布を、テスト集合へも保持できるか？
• RQ2 平均テスト誤差が低くても、テストデータにおける分類器の出力分布が、訓練データにおける出力分布とどの程度類似しているか？
• RQ3 平均誤差を最小化しないにもかかわらず、補間モデルがなぜ分布の観点から一般化するのか？
• RQ4 分布一般化は古典的一般化とどのように異なり、どのような状況でモデル行動のより良い特徴づけを提供するのか？
• RQ5 補間モデルにおいて、条件付き分布p(y|x)と分類器の出力分布との一致を支えるメカニズムは何か？

主な発見

• ネコに30％のラベルノイズを加えた二値CIFAR-10実験において、訓練誤差がゼロに達するWideResNetは、テスト時のネコの約30％を『オブジェクト』と誤分類し、局所的な誤差分布の一般化を示した。
• 訓練集合上での(x, f(x))の結合分布は、テスト集合上でのそれとほとんど区別できないほどに近く、平均誤差を越えた強い分布類似性を示している。
• この挙動は、ニューラルネットワーク、カーネル機械、決定木といった多様なモデルに共通しており、補間分類器の一般的性質であると考えられる。
• 期待誤差を最小化していないにもかかわらず、モデルの出力分布はp(y|x)、すなわち真の条件付き分布とよく一致している。
• 補間モデルは、非補間モデルが持たない、データ分布の微細な統計的構造（例：ラベルノイズのパターン）を保持している。
• 独立した初期化と独立した訓練集合の両方でアンサンブル化した結果、分布一般化の頑健性と一貫性が示された。