[論文レビュー] Inconsistency, Instability, and Generalization Gap of Deep Neural Network Training

Rie Johnson, Tong Zhang|arXiv (Cornell University)|May 31, 2023

Neural Networks and Applications被引用数 4

ひとこと要約

本論文は、深層ニューラルネットワークの一般化ギャップの予測要因として、モデル出力の不一致と不安定性を提示し、理論的・実験的分析を通じて、不一致（ラベルなしデータ上で測定可能）が損失ランドスケープの鋭さを上回る一般化予測性能を示すことを示している。アルゴリズム的正則化による不一致の低減は、テスト性能の向上をもたらし、共蒸留やアンサンブル手法の理論的基盤を提供する。

ABSTRACT

As deep neural networks are highly expressive, it is important to find solutions with small generalization gap (the difference between the performance on the training data and unseen data). Focusing on the stochastic nature of training, we first present a theoretical analysis in which the bound of generalization gap depends on what we call inconsistency and instability of model outputs, which can be estimated on unlabeled data. Our empirical study based on this analysis shows that instability and inconsistency are strongly predictive of generalization gap in various settings. In particular, our finding indicates that inconsistency is a more reliable indicator of generalization gap than the sharpness of the loss landscape. Furthermore, we show that algorithmic reduction of inconsistency leads to superior performance. The results also provide a theoretical basis for existing methods such as co-distillation and ensemble.

研究の動機と目的

• 深層ニューラルネットワークの一般化ギャップと相関する根本的特性、特に確率的学習ダイナミクスに注目すること。
• 一般化ギャップとモデル出力の不一致および不安定性を結びつける理論的枠組みを構築し、ラベルなしデータ上で推定可能であることを示すこと。
• 不一致が損失ランドスケープの鋭さを上回る一般化ギャップの予測要因であることを実験的に検証すること。
• 不一致のアルゴリズム的低減がモデルの一般化および性能向上に寄与することを示すこと。
• 共蒸留やアンサンブル学習などの既存手法の理論的基盤を提供すること。

提案手法

• モデル出力の不一致、不安定性、およびモデルパラメータ分布の情報理論的不安定性の3要素を用いた一般化ギャップの理論的境界を提案する。
• 同一の訓練データに対して複数回の順方向伝搬を実行し、出力の1ノルム差の期待値として不一致を定義する。
• 異なる訓練データサンプルに起因するモデル出力の期待差として不安定性を定義し、複数の訓練セットを用いて推定する。
• KLダイバージェンスに基づく不一致を訓練正則化に用い、滑らかな最適化と標準的な交差エントロピー目的関数との整合性を確保する。
• ラベルや完全なテストセットへのアクセスに依存せず、ラベルなしデータを用いて不一致と不安定性を推定する。
• 同一入力に対する2回の順方向伝搬の予測間のKLダイバージェンスを最小化することで、訓練中に一貫性正則化を適用する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおけるモデル出力の不一致と不安定性は、一般化ギャップとどのように関係しているか？
• RQ2 不一致と不安定性はラベルなしデータ上で信頼性高く推定可能か？また、一般化性能の予測にどの程度有効か？
• RQ3 不一致は損失ランドスケープの鋭さを上回る一般化ギャップの予測指標として信頼できるか？
• RQ4 不一致のアルゴリズム的低減は、一般化性能の向上および最先端の性能向上に寄与するか？
• RQ5 不一致と既存手法（共蒸留やアンサンブル学習）との理論的・実験的関連性は何か？

主な発見

• 多様な深層学習設定において、モデル出力の不一致と不安定性は一般化ギャップを強く予測する。
• 不一致は損失ランドスケープの鋭さを上回る一般化ギャップの予測要因であり、特に一般化誤差が低いにもかかわらず鋭さが高値を示す状況で顕著である。
• 訓練のランダム性が低い状況では、不一致単体が不一致と不安定性の併用効果とほぼ同等の予測性能を示す。
• 不一致のアルゴリズム的低減は、テスト性能の向上をもたらし、モデル訓練における実用的利点を示している。
• 理論的分析により、一般化ギャップは不一致、不安定性、パラメータ分布の不安定性によって上限付けられ、不一致が中心的役割を果たしていることが示された。
• 本研究の結果は、共蒸留やアンサンブル手法の理論的基盤を提供しており、これらはモデル平均化によって不一致を暗黙的に低減している。