[論文レビュー] On the Usefulness of Deep Ensemble Diversity for Out-of-Distribution Detection

Guoxuan Xia, Christos-Savvas Bouganis|arXiv (Cornell University)|Jul 15, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

この論文は、ImageNetスケールのモデルにおける分布外（OOD）検出において、相互情報量（MI）で測定される深層アンサンブルの多様性が性能を向上させるという一般的な信念に挑戦する。代わりに、特定のタスクに特化したスコア（例：Energy）をアンサンブル内で平均化することで、より優れた性能が得られることを示している。特に、アンサンブル内のEnergyスコアの平均値が、最高のOODベンチマークでFPR@95 4.48%の最先端性能を達成した。

ABSTRACT

The ability to detect Out-of-Distribution (OOD) data is important in safety-critical applications of deep learning. The aim is to separate In-Distribution (ID) data drawn from the training distribution from OOD data using a measure of uncertainty extracted from a deep neural network. Deep Ensembles are a well-established method of improving the quality of uncertainty estimates produced by deep neural networks, and have been shown to have superior OOD detection performance compared to single models. An existing intuition in the literature is that the diversity of Deep Ensemble predictions indicates distributional shift, and so measures of diversity such as Mutual Information (MI) should be used for OOD detection. We show experimentally that this intuition is not valid on ImageNet-scale OOD detection -- using MI leads to 30-40% worse %FPR@95 compared to single-model entropy on some OOD datasets. We suggest an alternative explanation for Deep Ensembles' better OOD detection performance -- OOD detection is binary classification and we are ensembling diverse classifiers. As such we show that practically, even better OOD detection performance can be achieved for Deep Ensembles by averaging task-specific detection scores such as Energy over the ensemble.

研究の動機と目的

• ImageNetスケールのモデルにおいて、相互情報量（MI）で測定される深層アンサンブルの多様性が、分布外（OOD）入力を信頼性を持って示すかを調査すること。
• 高水準のアンサンブル多様性が分布シフトと相関しており、OOD検出を支援すると広く信じられている直観に挑戦すること。
• 単一モデルと比較して深層アンサンブルが優れたOOD検出性能を示す真のメカニズムを特定すること。
• Energyのようなより良いOOD検出スコアをアンサンブル化することで、標準的な不確実性指標を上回る性能向上が達成されるかを評価すること。

提案手法

• 著者らは、ImageNetスケールのOOD検出ベンチマーク上で、アンサンブルエントロピー（Ens. H）、平均エントロピー（Av. H）、相互情報量（MI）、およびEnergyといった複数の不確実性スコアを評価した。
• MIは標準的な分解式を用いて計算された：MI ≈ Ens. H - Av. H、これはアンサンブルの多様性を測る指標として解釈された。
• 単一モデルと深層アンサンブルの両方において、AUROCおよびFPR@95を用いてOOD検出性能を比較した。スコアはアンサンブルメンバーの平均値として算出された。
• ジェンセンの不等式を適用して、多様な2値OOD分類器をアンサンブル化することで性能が向上することを理論的に正当化した。
• タスク固有のスコア（Energy）をアンサンブル内で平均化する手法を提案・評価し、他の不確実性指標を常に上回ることを示した。
• 標準的な評価プロトコルに従い、ImageNet-R、TinyImageNet、ObjectNetを含む複数のOODデータセットで広範な実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 相互情報量（MI）が、ImageNetスケールのモデルにおいて、分布外（OOD）入力を信頼性を持って示すか？
• RQ2 なぜ深層アンサンブルが単一モデルよりもOOD検出で優れているのか？それはアンサンブルの多様性ゆえなのか、それとも他のメカニズムゆえなのか？
• RQ3 Energyのようなより良いOOD検出スコアをアンサンブル化することで、標準的な不確実性指標を上回る性能向上が達成できるか？
• RQ4 深層アンサンブルの性能向上は、2値分類設定におけるアンサンブルメンバー間の多様な誤りパターンの平均化に起因しているか？

主な発見

• MIを多様性指標として用いた場合、単一モデルのエントロピーに比べて著しく性能が劣り、一部のOODデータセットではFPR@95が30〜40%も高い値を示した。
• アンサンブルエントロピー（Ens. H）と平均エントロピー（Av. H）は、ともに単一モデルの対応する指標を常に上回り、アンサンブル化が不確実性推定を改善することを示している。
• Energyスコアをアンサンブル内で平均化することで、最高の全体的なOOD検出性能が得られ、ObjectNet OODベンチマークでFPR@95 4.48%を達成した。
• 最高性能を示した平均Energyは、ObjectNetで99.08%のAUROCを達成し、単一モデルのEnergyおよび他のすべてのアンサンブルベースの不確実性指標を上回った。
• 本研究では、アンサンブルの多様性（MIを用いて測定）が、スケールの大きな環境でOOD入力と相関している証拠が一切得られず、文献で広く引用されている直観を揺るがすものであった。
• 深層アンサンブルの優れた性能は、多様な2値OOD検出器が互いの誤りを補い合うことで生じており、多様性そのものが直接的なOOD指標であるという説明よりも、より適切に説明できる。