[論文レビュー] Towards Maximizing the Representation Gap between In-Domain & Out-of-Distribution Examples

Jay Nandy, Wynne Hsu+1 more|arXiv (Cornell University)|Oct 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 20

ひとこと要約

本稿では、ドメイン内例とドメイン外例（OOD）の間の表現ギャップを明示的に正則化することで、ディリクレ分布の精度を制御する、ディリクレ事前分布ネットワーク（DPN）のための新しい損失関数を提案する。平均と精度の最適化を分離することにより、OOD検出性能が向上し、CIFAR-10およびSTL-10でほぼ完璧なAUROCスコアを達成するなど、複数のベンチマークで最先端の結果を達成した。

ABSTRACT

Among existing uncertainty estimation approaches, Dirichlet Prior Network (DPN) distinctly models different predictive uncertainty types. However, for in-domain examples with high data uncertainties among multiple classes, even a DPN model often produces indistinguishable representations from the out-of-distribution (OOD) examples, compromising their OOD detection performance. We address this shortcoming by proposing a novel loss function for DPN to maximize the extit{representation gap} between in-domain and OOD examples. Experimental results demonstrate that our proposed approach consistently improves OOD detection performance.

研究の動機と目的

• 既存のDPNモデルでは、高いデータ不確実性がもたらす平坦なディリクレ分布がOOD例と区別できないという限界を是正すること。
• ドメイン内例とOOD例の間の表現ギャップを明示的に最大化することで、OOD検出性能を向上させること。
• 平均と精度を別々にモデル化する損失関数を設計し、不確実性の分離を改善すること。
• ドメイン内例において高いデータ不確実性が生じる状況でも、OOD検出性能が安定するようにすること。

提案手法

• 交差エントロピー損失と、新しい明示的精度正則化項を分離することで、ディリクレ分布の平均と精度を別々に最適化する新しい損失関数を提案する。
• OOD例に対して鋭い、マルチモーダルなディリクレ分布を促進する精度正則化項を導入し、ドメイン内例との表現ギャップを拡大する。
• 高不確実性のドメイン内ケースで重複クラスにターゲット精度値が分散するのを回避するため、標準的なDPN損失を変更する。
• 2段階最適化を採用：第一段階では平均予測のための標準的交差エントロピー損失を適用、第二段階では精度正則化項を用いてOOD予測のスパarsityと鋭さを強制する。
• OODでは平坦さ、ドメイン内例では鋭さを促進するように、動的に調整されるターゲット精度値を採用する。
• ドメイン内およびOODの両方の例を用いて学習することで、表現空間における明確な区別を明示的に学習する。

実験結果

リサーチクエスチョン

• RQ1 修正されたDPN損失関数は、ドメイン内例とOOD例の間の表現ギャップを効果的に拡大できるか？
• RQ2 DPNにおける平均と精度の最適化を分離することで、高いデータ不確実性下でもOOD検出性能が向上するか？
• RQ3 明示的な精度正則化により、高い不確実性を示すドメイン内例が誤ってOODと分類されるのを防げるか？
• RQ4 提案手法は、多様なデータセットに対して既存のOOD検出ベースラインと比較して優れた性能を示すか？
• RQ5 本手法は、異なるデータ分布やOODシフトタイプに対しても高い性能を維持するか？

主な発見

• CIFAR-10では、提案手法DPN+が99.2%のAUROCを達成し、DPNrev（85.4%）を大きく上回り、DPN−（99.7% AUROCだが精度は3.5%）に対しても優位であった。
• CIFAR-100では、DPN+が99.0%のAUPRと99.5%のAUROCを達成し、DPNrev（85.0% AUROC）とDPN−（99.0% AUROCで精度7.5%）を上回った。
• STL-10では、DPN+が100.0%のAUROCと100.0%のAUPRを達成し、DPNrev（99.5% AUROC）とDPN−（100.0% AUROCで精度0.2%）を上回った。
• Places365では、DPN+が100.0%のAUROCと100.0%のAUPRを達成し、DPNrev（99.1% AUROC）とDPN−（99.9% AUROCで精度0.8%）を大きく上回った。
• Texturesでは、DPN+が98.4%のAUROCと97.9%のAUPRを達成し、DPNrev（92.6% AUROC）とDPN−（98.7% AUROCで精度19.3%）を上回った。
• 本手法は、すべてのデータセットでほぼ完璧なOOD検出性能を一貫して達成し、精度が低くOODの区別が困難なDPN−と比較して、より優れた一般化性能とロバスト性を示した。