[論文レビュー] Diversity inducing Information Bottleneck in Model Ensembles

Samarth Sinha, Homanga Bharadhwaj+4 more|arXiv (Cornell University)|Mar 10, 2020

Adversarial Robustness in Machine Learning参考文献 46被引用数 12

ひとこと要約

本稿では、予測尤度、情報ボトルネック正則化、およびスチュワティックな潜在変数における敵対的多様性を同時に最適化することで、ディープアンサンブルの性能を向上させるDIBS（モデルアンサンブルにおける多様性誘導型情報ボトルネック）を提案する。共有エンコーダとK個のスチュワティックなデコーダヘッドに加え、敵対的多様性損失を適用することで、MNIST、CIFAR100、TinyImageNet、Places2の画像ベンチマークにおいて、10%以上の相対的精度向上、データセットシフト下での一般化性能5%以上の向上、および優れたOOD検出性能を達成した。

ABSTRACT

Although deep learning models have achieved state-of-the-art performance on a number of vision tasks, generalization over high dimensional multi-modal data, and reliable predictive uncertainty estimation are still active areas of research. Bayesian approaches including Bayesian Neural Nets (BNNs) do not scale well to modern computer vision tasks, as they are difficult to train, and have poor generalization under dataset-shift. This motivates the need for effective ensembles which can generalize and give reliable uncertainty estimates. In this paper, we target the problem of generating effective ensembles of neural networks by encouraging diversity in prediction. We explicitly optimize a diversity inducing adversarial loss for learning the stochastic latent variables and thereby obtain diversity in the output predictions necessary for modeling multi-modal data. We evaluate our method on benchmark datasets: MNIST, CIFAR100, TinyImageNet and MIT Places 2, and compared to the most competitive baselines show significant improvements in classification accuracy, under a shift in the data distribution and in out-of-distribution detection. Code will be released in this url https://github.com/rvl-lab-utoronto/dibs

研究の動機と目的

• データセットシフト下での一般化性能や多様なデータをモデル化する能力に制限を受けるベイジアンニューラルネットワークやランダムアンサンブルの課題を解決すること。
• アンサンブル予測における多様で妥当な仮説を明示的に促進することで、予測不確実性の推定を改善すること。
• ランダムな重み初期化や事前分布の仮定に依存せずに、高い尤度と多様性をバランスさせるスケーラブルで原理的根拠のあるアンサンブル手法を開発すること。
• 制御された情報フローと多様性の強制により、画像のような高次元入力における多様な分布を効果的にモデル化できること。

提案手法

• 共有の決定的エンコーダが入力Xを共有潜在変数Zにマップし、アンサンブルメンバー間での共有表現学習を可能にする。
• K個のスチュワティックなデコーダヘッドがZをK個の異なる出力Yiにマップし、それぞれが固有の予測を持つ別個のアンサンブルモデルを表す。
• 異なるデコーダヘッドの予測間の類似性を最小化する敵対的多様性損失を適用し、多様な仮説の促進を図る。
• 入力Xと各潜在デコーダ変数Z̃i間の相互情報量を最小化する情報ボトルネック制約を適用し、関連する統計のみを保持することを保証する。
• 学習目的は、データ尤度の最大化、敵対的損失による多様性の最大化、情報ボトルネック正則化の同時最適化である。
• 本手法は汎用的であり、任意の潜在変数モデルに適用可能で、多様性の実現にランダム初期化に依存しない。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルモデルにおける明示的な多様性誘導が、データセットシフト下での一般化性能とOOD検出性能の向上に寄与するか？
• RQ2 情報ボトルネック正則化と敵対的多様性損失を組み合わせることで、ランダム初期化やベイジアン手法に比べてより優れた不確実性推定が達成できるか？
• RQ3 複数のスチュワティックデコーダを備えた共有エンコーダが、標準アンサンブルを上回る精度と多様性を達成しながらもスケーラビリティを維持できるか？
• RQ4 本手法は、マルチモーダルなデータ分布のモデル化において、MCドロップアウトやベイジアンニューラルネットワークと比較してどのように優れるか？

主な発見

• DIBSは、MNIST、CIFAR100、TinyImageNet、MIT Places 2の最先端のベースラインと比較して、分類精度で10%以上の相対的向上を達成した。
• 本手法は、データセットシフト下での一般化性能において5%以上の相対的向上を示し、分布シフトに対して高いロバストネスを示した。
• DIBSはOOD検出性能を向上させ、AUROCとAUPRの指標で5%以上の優れた予測不確実性推定を達成した。
• 敵対的多様性損失は、予測尤度や一般化性能を低下させることなく、意味のある予測多様性を効果的に促進した。
• 情報ボトルネック制約により、予測の過剰な分散が防止され、多様性と予測の正確性のバランスが保たれた。
• 本手法は、すべてのベンチマークデータセットにおいて、AUROCとAUPRの両指標でランダムアンサンブルおよびNCPベースラインを上回った。