[論文レビュー] Assessing Generalization of SGD via Disagreement

Yiding Jiang, Vaishnavh Nagarajan+2 more|arXiv (Cornell University)|Jun 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 53被引用数 19

ひとこと要約

本稿では、同じデータで学習されたが異なる乱数シードを用いた2つの深層ニューラルネットワークの不一致率を、ラベルなしデータのみを用いたテスト誤差の直接推定値として用いる手法を提案する。実験的に、この不一致率が多様なアーキテクチャとデータセットにおいて一般化誤差に非常に近い値を示すことを示し、確率的最適化で学習されたアンサンブルが適切にキャリブレーションされている場合、この等価性が理論的に保証されることを証明することで、一般化とキャリブレーションの新たな関係を確立する。

ABSTRACT

We empirically show that the test error of deep networks can be estimated by simply training the same architecture on the same training set but with a different run of Stochastic Gradient Descent (SGD), and measuring the disagreement rate between the two networks on unlabeled test data. This builds on -- and is a stronger version of -- the observation in Nakkiran & Bansal '20, which requires the second run to be on an altogether fresh training set. We further theoretically show that this peculiar phenomenon arises from the \emph{well-calibrated} nature of \emph{ensembles} of SGD-trained models. This finding not only provides a simple empirical measure to directly predict the test error using unlabeled test data, but also establishes a new conceptual connection between generalization and calibration.

研究の動機と目的

• ラベルなしテストデータを必要とせずに、ラベルなしデータにおけるモデル不一致が一般化誤差を予測できるかどうかを調査すること。
• 先行研究で観察された不一致とテスト誤差の相関関係が、両モデルが同じデータセットを異なる乱数シードで学習した場合にも成立するかどうかを特定すること。
• 観察された不一致率とテスト誤差の一致に理論的基盤を設けること。
• 不一致がブラックボックス的かつプライバシー保護型の一般化評価指標として実用的であるかどうかを検討すること。

提案手法

• 同じ訓練データセットを用い、同じアーキテクチャとハイパーパrameterを持つが異なる乱数シード（例えば、異なる重み初期化とデータシャッフル順序）で学習した2つの深層ニューラルネットワークを訓練する。
• 不一致率を、ラベルなしテストセット上で予測ラベルが異なるサンプルの割合として測定する。
• 同じラベルなしテストセット上で各モデルの一般化誤差（テスト誤差）を測定し、不一致率と比較する。
• 確率的最適化で学習されたアンサンブルが適切にキャリブレーションされている場合、期待不一致率が期待テスト誤差に等しくなることを理論的に証明する。
• キャリブレーションプロットと信頼度ヒストограмを用いて、SGDで学習されたアンサンブルが適切にキャリブレーションされていることを実証的に検証する。
• データ分割、モデルアーキテクチャ、ハイパーパrameter（例：幅、深さ、バッチサイズ）の変更に対して、不一致-一般化関係のロバストネスを評価するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 両モデルが同じデータセットを異なる乱数シードで学習した場合、ラベルなしデータにおける不一致がテスト誤差と相関を示すのか、先行研究で報告されたように、別々のデータセットで学習した場合とは異なるのか？
• RQ2 ラベルなしテストデータやモデル内部構造へのアクセスを必要とせず、不一致率が一般化誤差の信頼性の高い直接推定値として機能するのか？
• RQ3 実際のところ、不一致率がなぜテスト誤差にほぼ等しくなるのか、その背後にあるSGDで学習されたモデルの性質は何か？
• RQ4 不一致-一般化の等価性が成り立つ条件は何か、特に分布外データにおいては？
• RQ5 幅、深さ、バッチサイズなどのモデルハイパーパrameterの変更に対して、不一致とテスト誤差の関係はロバストか？

主な発見

• 同じデータセットで異なる乱数シードで学習した2つのモデル間の不一致率は、すべてのモデルペアにおいてテスト誤差に極めて近い値を示し、R²が0.986、 Kendall’s tauが0.858を達成した。
• モデルのハイパーパrameterの小さな変更（例：幅、深さ、バッチサイズ）に対しても、不一致-一般化の等価性が成立しており、モデル構成の変更に対してロバストであることが示された。
• この現象は、SGDで学習されたアンサンブルが適切にキャリブレーションされていることに起因する。アンサンブルが適切にキャリブレーションされている場合、期待不一致率は期待テスト誤差に等しくなる。
• PACSデータセットの一部のドメインでは分布外データに対しても関係が成立するが、一貫して成り立つわけではないため、ドメインシフトに感受性があることが示唆された。
• 不一致測定はブラックボックス的かつプライバシー保護型の一般化評価指標として有効であり、モデルの重みや勾配へのアクセスを必要とせず、ラベルなしデータのみで動作する。
• 複数のモデルペアを用いることで推定精度が向上し、4つのペアを用いることで、対角線（テスト誤差 = 不一致）からの平均偏差が1つのペアの0.112から0.034にまで低下した。