[論文レビュー] DICE: Diversity in Deep Ensembles via Conditional Redundancy Adversarial Estimation

Alexandre Ramé, Matthieu Cord|arXiv (Cornell University)|Jan 14, 2021

Adversarial Robustness in Machine Learning参考文献 134被引用数 23

ひとこと要約

DICEは、予測精度を維持しながら特徴表現同士の条件付き冗長性を最小化することで、深層アンサンブルの多様性を向上させる画期的な学習フレームワークを導入する。ターゲットクラスを条件として、メンバー間の誤った相関関係を敵対的に低減することで、CIFAR-100において7ネットワークのアンサンブルと同等の最先端の精度を達成するが、DICEで学習された5ネットワークで実現する。

ABSTRACT

Deep ensembles perform better than a single network thanks to the diversity among their members. Recent approaches regularize predictions to increase diversity; however, they also drastically decrease individual members' performances. In this paper, we argue that learning strategies for deep ensembles need to tackle the trade-off between ensemble diversity and individual accuracies. Motivated by arguments from information theory and leveraging recent advances in neural estimation of conditional mutual information, we introduce a novel training criterion called DICE: it increases diversity by reducing spurious correlations among features. The main idea is that features extracted from pairs of members should only share information useful for target class prediction without being conditionally redundant. Therefore, besides the classification loss with information bottleneck, we adversarially prevent features from being conditionally predictable from each other. We manage to reduce simultaneous errors while protecting class information. We obtain state-of-the-art accuracy results on CIFAR-10/100: for example, an ensemble of 5 networks trained with DICE matches an ensemble of 7 networks trained independently. We further analyze the consequences on calibration, uncertainty estimation, out-of-distribution detection and online co-distillation.

研究の動機と目的

• 深層学習におけるアンサンブルの多様性と個々のモデルの精度のトレードオフを解消すること。
• 多様性を高めるが個々のパフォーマンスを低下させる既存の正則化手法の限界を克服すること。
• 予測力に影響を与えることなく特徴表現の多様性を促進する学習戦略を開発すること。
• 情報理論と条件付き相互情報量のニューラル推定を活用してモデル学習をガイドすること。
• 制御された特徴多様性を通じて一般化性能、不確実性推定、分布外検出を向上させること。

提案手法

• アンサンブルメンバー間の特徴表現の間の条件付き冗長性を最小化する新しい学習目的、DICEを導入する。
• Donsker-Varadhan表現を用いたニューラル推定により、条件付き相互情報量を測定・低減する。
• 敵対的学習を適用し、ターゲットクラスを条件とした場合に異なるアンサンブルメンバーの特徴が条件付き独立になるようにする。
• 分類損失と条件付き冗長性低減損失を組み合わせることで、精度と多様性のバランスをとる。
• ターゲットラベルを条件として相互情報量推定を条件づけることで、タスク関連の情報を保持しつつ誤った相関関係を除去する。
• 効率性のため、共有された特徴抽出を備えたVCEB（変分的条件付きエントロピー・ボトルネック）フレームワークを用いて手法を実装する。

実験結果

リサーチクエスチョン

• RQ1 メンバー間の特徴表現の条件付き冗長性を明示的に低減することで、深層アンサンブルの性能を向上させられるか？
• RQ2 特徴間の誤った相関関係を最小化することで、個々のモデルの精度を損なわず一般化性能が向上するか？
• RQ3 DICEは、精度、キャリブレーション、不確実性推定という観点で、既存のアンサンブル手法と比べてどのように差をつけるか？
• RQ4 DICEは、従来の独立学習と比較して、少ないアンサンブルメンバー数で同等の性能を達成できるか？
• RQ5 条件付き冗長性低減が、分布外検出およびオンラインコディスティレーションに与える影響は何か？

主な発見

• CIFAR-100においてDICEは最先端の精度を達成し、5ネットワークのアンサンブルが独立に学習された7ネットワークのアンサンブルと同等の性能を示す。
• ResNet-32を用いたCIFAR-100では、DICEは5ブランチでトップ1精度77.51%を達成し、独立学習や先行手法（CEBやIBR）を上回る。
• DICEはキャリブレーションと不確実性推定を向上させ、CIFAR-10では3ネットワークのみでトップ1精度95.01%を達成する。
• アブレーションスタディにより、特徴間の誤った相関関係を排除することで同時誤りが減少することが実証された。
• 低レベルの重み共有でもDICEは高いパフォーマンスを維持し、4つのDICEで学習されたブランチが、従来の7ブランチの精度に匹敵する。
• アブレーションでは、RHS（冗長性低減）コンponentを除去すると多様性と精度がわずかに向上することが示され、これが損失関数における重要な役割を果たしていることが示された。