[論文レビュー] For self-supervised learning, Rationality implies generalization, provably

Yamini Bansal, Gal Kaplun+1 more|arXiv (Cornell University)|Oct 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 7

ひとこと要約

この論文は、自己教師あり学習（SSL）手法が、分類器の複雑さが訓練サンプル数に比べて小さい場合、一般化ギャップが消えるため、単純な線形分類器を用いて良好に一般化することを証明している。著者らはRRM境界を導入し、一般化を「頑健性ギャップ」「合理性ギャップ」「記憶ギャップ」に分解することで、小さな合理性と頑健性ギャップが、表現の過パラメータ化があっても一般化誤差が小さいことを示している。

ABSTRACT

We prove a new upper bound on the generalization gap of classifiers that are obtained by first using self-supervision to learn a representation $r$ of the training data, and then fitting a simple (e.g., linear) classifier $g$ to the labels. Specifically, we show that (under the assumptions described below) the generalization gap of such classifiers tends to zero if $\mathsf{C}(g) \ll n$, where $\mathsf{C}(g)$ is an appropriately-defined measure of the simple classifier $g$'s complexity, and $n$ is the number of training samples. We stress that our bound is independent of the complexity of the representation $r$. We do not make any structural or conditional-independence assumptions on the representation-learning task, which can use the same training dataset that is later used for classification. Rather, we assume that the training procedure satisfies certain natural noise-robustness (adding small amount of label noise causes small degradation in performance) and rationality (getting the wrong label is not better than getting no label at all) conditions that widely hold across many standard architectures. We show that our bound is non-vacuous for many popular representation-learning based classifiers on CIFAR-10 and ImageNet, including SimCLR, AMDIM and MoCo.

研究の動機と目的

• 自己教師あり学習（SSL）において、表現が過パラメータ化されているにもかかわらず、単純な分類器を用いることでなぜ一般化が良好に働くのかを説明すること。
• SSLにおける一般化を支配する主要因である「頑健性」「合理性」「記憶」を同定すること。
• 表現の複雑さに依存しない、一般化ギャップの非自明な上界を証明すること。
• 実際の標準的なSSS（自己教師あり＋単純）モデルでは、合理性ギャップが通常小さいかゼロであることを示し、SSSモデルの一般化を支持すること。
• SSLパイプラインにおける一般化誤差を分解・定量化する理論的枠組み（RRM境界）を提供すること。

提案手法

• 一般化ギャップを3つの要素に分解するRRM境界を提案：頑健性ギャップ、合理性ギャップ、記憶ギャップ。
• 頑健性ギャップを、ラベルの一部を小さな割合ηだけランダムラベルに誤魔化した場合の訓練精度の低下として定義する。
• 合理性ギャップを、誤ったラベルを持つノイズのある訓練サンプルと、ラベルのないテストサンプルの間の性能差として定義する。
• 記憶ギャップを、ラベルの誤魔化し下での完全な訓練セットとノイズのあるサンプルのみの精度差として定義する。
• やや弱い仮定の下で、一般化ギャップがこれらの3つのギャップの和で上界づけられることを証明する。
• 多くのSSSモデル（例：SimCLR, AMDIM, BigBiGAN）において、合理性ギャップと頑健性ギャップが小さいことが実証され、非自明な一般化境界が得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習モデルが、表現が過パラメータ化されているにもかかわらず、単純な分類器を用いてなぜ一般化が良好に働くのか？
• RQ2 表現の複雑さに依存しない、SSS学習における一般化ギャップの明示的上界を構築できるか？
• RQ3 頑健性と合理性は、SSLにおける一般化性能を決定づける要因として果たす役割は何か？
• RQ4 標準的なSSSモデル（例：SimCLR, AMDIM）において、実際のところ合理性ギャップは小さいかゼロか？
• RQ5 非合理的なモデルから、計算コストは高いが理論的に正当な推論手順を構築することで、性能が「テーブルの上に残っている」ことを示せるか？

主な発見

• 分類器の複雑さ𝒞(g)が訓練サンプル数nに比べて著しく小さい場合、SSSモデルの一般化ギャップは0に近づく。
• RRM境界は、一般化ギャップを頑健性ギャップ、合理性ギャップ、記憶ギャップに分解し、後者はしばしば支配的である。
• CIFAR-10およびImageNetにおける実験的評価により、RRM境界は非自明であり、実際の一般化ギャップに近い値を示している。
• SimCLR, AMDIM, BigBiGANにおいて、合理性ギャップが小さいかゼロであることが確認され、それらの強力な一般化性能を支持している。
• 「テーブルの上の性能」定理を証明：非合理的なモデルは、計算的に高コストだが理論的に妥当な推論手順を用いて、より良い性能のものに変換可能である。
• 境界は表現の複雑さに依存しないため、SSS学習における一般化は表現の複雑さではなく、分類器の単純さと頑健性に起因することが示された。