[論文レビュー] Diversity regularization in deep ensembles

Changjian Shui, Azadeh Sadat Mozafari+3 more|arXiv (Cornell University)|Feb 22, 2018

Neural Networks and Applications参考文献 6被引用数 8

ひとこと要約

この論文では、予測精度を損なわずにモデルのキャリブレーションを向上させるために、負の相関（NC）正則化を用いた深層ニューラルネットワークアンサンブルのトレーニングを提案する。損失関数に多様性正則化項を明示的に組み込むことで、アンサンブルメンバー間の多様性を強制し、特に大きなアンサンブルサイズにおいて期待キャリブレーション誤差（ECE）を顕著に低減する。CIFAR-100およびCIFAR-10データセットにおいても高い予測性能を維持する。

ABSTRACT

Calibrating the confidence of supervised learning models is important for a variety of contexts where the certainty over predictions should be reliable. However, it has been reported that deep neural network models are often too poorly calibrated for achieving complex tasks requiring reliable uncertainty estimates in their prediction. In this work, we are proposing a strategy for training deep ensembles with a diversity function regularization, which improves the calibration property while maintaining a similar prediction accuracy.

研究の動機と目的

• アンサンブルサイズが増加する際、モデルが過小信頼的になるという深層ニューラルネットワークにおけるキャリブレーションの悪化を是正すること。
• 予測精度を低下させることなく、深層アンサンブルのキャリブレーション性能を向上させること。
• 負の相関（NC）正則化を用いてアンサンブルメンバー間の多様性を明示的に強制することで、キャリブレーションが向上するかを検証すること。
• 異なるアンサンブルサイズおよびデータセットにおけるNC正則化の有効性を評価すること。

提案手法

• 本手法は、各アンサンブルメンバーのトレーニング中に損失関数に、負の相関（NC）に基づく多様性正則化項を導入する。
• 多様性指標は、各ネットワークの出力がアンサンブル平均からどれほど逸脱しているかの積と、他のネットワークの平均からの逸脱の合計の積として定義される。
• バックプロパゲーションの過程で、アンサンブル平均は個々のネットワークに関して定数とみなされ、安定した勾配更新が可能になる。
• 各ネットワークの総損失は、交差エントロピー分類損失と、ハイパーパramータ λ を用いた重み付けされた多様性正則化項の和である。
• 最終的な予測は、アンサンブル内のすべての M 個のネットワークの出力を平均することで得られる。
• 本手法は、VGG-11（バッチ正則化付き）を用いたCIFAR-100および、CIFAR-10用に変更を加えたアレクサンネット上で評価された。

実験結果

リサーチクエスチョン

• RQ1 負の相関正則化を用いて深層アンサンブルメンバー間の多様性を強制することで、モデルのキャリブレーションが向上するか？
• RQ2 アンサンブルサイズが異なる場合に、NC正則化付きアンサンブルと純粋アンサンブルの間で、期待キャリブレーション誤差（ECE）および精度の観点から、どのように比較されるか？
• RQ3 NC正則化は、大きな純粋アンサンブルで観察される過小信頼問題を緩和できるか？
• RQ4 特に複雑な分類タスクにおいて、本手法はキャリブレーションの向上を図りながらも、高い精度を維持できるか？

主な発見

• M=7の場合、NC正則化アンサンブルはCIFAR-100で2.5%のECEを達成した。これは同じ条件下での純粋アンサンブルの4.3%と比べ顕著に低い。
• M=11の場合、NC正則化アンサンブルのECEは3.9%に低下した。一方で純粋アンサンブルは6.9%であった。これはスケールが大きくなるほどキャリブレーション性能が向上していることを示している。
• 本手法は高い精度を維持した。NC正則化アンサンブルでは0.7096、純粋アンサンブルでは0.7146であり、性能の低下は認められなかった。
• CIFAR-100の「people」スーパークラスにおいて、NC正則化アンサンブルは信頼度と精度の差がたった0.02にとどまった。一方で純粋アンサンブルでは0.05であった。これは、より良好なキャリブレーションを示している。
• 単一ネットワークベースラインは過信的（平均差0.12）であったが、純粋アンサンブルは過小信頼的（0.05）であった。NC正則化により平均差は0.02にまで低下した。
• 本手法は過信と過小信頼の問題を効果的に軽減し、NC正則化アンサンブルはすべてのクラスにおいてバランスの取れた信頼度推定を示した。