[論文レビュー] On the Reproducibility of Neural Network Predictions

Srinadh Bhojanapalli, Michael J. Wilber+5 more|arXiv (Cornell University)|Feb 5, 2021

Neural Networks and Applications参考文献 34被引用数 17

ひとこと要約

この論文は、学習のランダム性に起因するニューラルネットワークの予測のばらつき（churn）を扱い、予測の信頼性を高める最小エントロピー正則化と、予測の一致を向上させる対称KLベースの共同蒸留（co-distillation）の二重手法を提案する。この手法により、ImageNet上でのchurnを最大50％まで低減し、正確性とキャリブレーション性能も向上させ、標準的な蒸留やアンサンブル手法よりも低い学習コストで優れる。

ABSTRACT

Standard training techniques for neural networks involve multiple sources of randomness, e.g., initialization, mini-batch ordering and in some cases data augmentation. Given that neural networks are heavily over-parameterized in practice, such randomness can cause {\em churn} -- for the same input, disagreements between predictions of the two models independently trained by the same algorithm, contributing to the `reproducibility challenges' in modern machine learning. In this paper, we study this problem of churn, identify factors that cause it, and propose two simple means of mitigating it. We first demonstrate that churn is indeed an issue, even for standard image classification tasks (CIFAR and ImageNet), and study the role of the different sources of training randomness that cause churn. By analyzing the relationship between churn and prediction confidences, we pursue an approach with two components for churn reduction. First, we propose using \emph{minimum entropy regularizers} to increase prediction confidences. Second, \changes{we present a novel variant of co-distillation approach~\citep{anil2018large} to increase model agreement and reduce churn}. We present empirical results showing the effectiveness of both techniques in reducing churn while improving the accuracy of the underlying model.

研究の動機と目的

• 同じアーキテクチャとデータを用いても、深層ニューラルネットワークにおいて予測churnの根本的原因を解明すること。
• 重み初期化やミニバッチ順序の学習ランダム性が、テスト例におけるモデルの不一致にどの程度影響を与えるかを定量化すること。
• ランダム性を完全に排除しないまま、学習ランダム性に起因する予測の不安定性（churn）を低減する手法を開発すること。
• 正則化と蒸留を用いて予測の信頼性と一致度を向上させ、実世界の機械学習応用における再現性を高めること。
• churn低減、キャリブレーション、正確性のトレードオフを、既存の蒸留およびアンサンブル手法と比較して評価すること。

提案手法

• 学習中にモデル出力のエントロピーを最小化することで、予測の信頼性を高めるための最小エントロピー正則化を導入する。
• 2つの学生モデル間の予測を一致させるために、対称カルバック・ライブラー（SKL）ダイバージェンスを損失関数として用いる新しい共同蒸留フレームワークを提案する。
• 最小エントロピー正則化とSKLベースの共同蒸留を統合した1つの学習目的関数を構築し、信頼性と一致度を同時に向上させる。
• 2つのモデルを同時に学習する二本のブランチ構造を採用し、共有データと知識蒸留損失を用いる。
• 交差エントロピー損失、エントロピー正則化、対称KL損失の重み付き組み合わせを用いて、正確性、信頼性、一致度のバランスをとる。
• CIFAR-10、CIFAR-100、SVHN、iNaturalist、ImageNetの複数のベンチマークで手法を評価し、ハイパーパramーターや正則化係数のアブレーションスタディを実施。

実験結果

リサーチクエスチョン

• RQ1 標準的な確率的最適化で学習されたニューラルネットワークにおいて、予測churnの主な要因は何か？
• RQ2 モデルの予測信頼性とchurnの相関関係は何か？信頼性を向上させることで、独立に学習されたモデル間の不一致を低減できるか？
• RQ3 対称KLダイバージェンスを用いた共同蒸留は、標準的な交差エントロピーに基づく蒸留よりも、予測分散とモデル不一致をより効果的に低減できるか？
• RQ4 最小エントロピー正則化と対称KLベースの共同蒸留を組み合わせることで、個々のコンponentや既存手法よりも優れたchurn低減と正確性向上が達成できるか？
• RQ5 提案手法は、ラベルスムージングやアンサンブル蒸留と比較して、モデルキャリブレーションにどのような影響を与えるか？

主な発見

• 固定されたデータとアーキテクチャですら、5つの独立に学習されたResNet-v2-50モデルがImageNetで20％の不一致を示すなど、予測churnは依然として顕著である。
• 提案された対称KLベースの共同蒸留（Co-distill_SKL）は、ベースラインと比較してImageNet上でのchurnを50％まで低減し、標準的なCo-distill_CE手法を上回った。
• 最小エントロピー正則化は、予測の信頼性を高めることでchurnを低減したが、キャリブレーション誤差（ECE）は上昇した（ImageNetでは3.71から6.17に）。
• エントロピー正則化とCo-distill_SKLを組み合わせた手法は、最も低いchurnと競争可能な正確性を達成し、ImageNetにおけるECEは3.89にまで低下した。これは2アンサンブル蒸留の2.14に近く、学習コストは半分に抑えられた。
• Co-distill_SKLは、ImageNet上でのECEを、Co-distill_CEの11.97から2.44にまで低減し、信頼性が低いにもかかわらずキャリブレーション性能が向上した。
• アブレーションスタディにより、2つのコンponentが補完的であることが確認された：エントロピー正則化はエントロピーを低下させ、共同蒸留は予測分散を低減させ、両者を組み合わせることで優れた性能が得られた。