[論文レビュー] Isotropy Maximization Loss and Entropic Score: Accurate, Fast, Efficient, Scalable, and Turnkey Neural Networks Out-of-Distribution Detection Based on The Principle of Maximum Entropy

David Macêdo, Tsang Ing Ren+3 more|arXiv (Cornell University)|Aug 15, 2019

Adversarial Robustness in Machine Learning参考文献 8被引用数 2

ひとこと要約

本論文は、標準的な交差エントロピーSoftMax損失に代わる新しい等方的損失関数であるIsoMaxを提案する。この手法により、最大エントロピーの原則に整合する高エントロピー・低信頼度の予測を促進することで、分布外（OOD）検出性能が向上する。本手法は敵対的訓練、データオーグメンテーション、アンサンブル、アーキテクチャの変更を一切不要とせず、最小限の実装コストで最先端の性能を達成する。

ABSTRACT

Current out-of-distribution (OOD) detection approaches require cumbersome procedures that add undesired side effects to the solution. In this paper, we argue that the low OOD detection performance of neural networks is due to cross-entropy SoftMax loss anisotropy and extreme propensity to produce low entropy (high confidence) posterior probability distributions in frontal disagreement with the Principle of Maximum Entropy. Consequently, we propose IsoMax, a loss that is isotropic (distance-based) and produces high entropy (low confidence) posterior probability distributions despite still relying on cross-entropy minimization. Additionally, we propose a speedy Entropic Score for OOD detection. IsoMax loss works as a seamless SoftMax loss drop-in replacement that keeps the overall solution accurate, fast, efficient, scalable, and turnkey. Our experiments indeed confirmed that neural networks OOD detection performance may be extremely improved without relying on techniques such as adversarial training or validation, data augmentation, ensembles methods, generative approaches, model architectural changes, metric learning, or additional classifiers or regressions. The results also showed that our straightforward approach is competitive against state-of-the-art solutions besides avoiding previous methods undesired drawbacks.

研究の動機と目的

• 標準的な交差エントロピーSoftMax損失で訓練されたニューラルネットワークのOOD検出性能の低さを改善すること。
• 損失の非等方性と低エントロピーの事後分布が、最大エントロピーの原則に反することを特定すること。
• モデルの精度を維持しつつ、等方性と高エントロピーを強制する、ドロップイン可能な代替損失を開発すること。
• 複雑な補助部品や訓練手順を回避する、高速で効率的かつスケーラブルなOOD検出手法を提案すること。

提案手法

• ロジット空間における等方性を強制する距離に基づく損失関数であるIsoMaxを提案し、標準的なSoftMax交差エントロピー損失に置き換える。
• 出力確率分布におけるエントロピーを最大化するように損失を設計し、分布内サンプルに対しても低信頼度の予測を生み出す。
• 出力エントロピーに基づく高速で軽量なOOD検出メトリクスとしてのエントロピー得点を導入する。
• 直接SoftMax損失の代替として機能することで、標準的な訓練パイプラインとの互換性を保証する。
• 交差エントロピー最小化に依存するが、最適化の目的関数を等方性と高エントロピーを優先するように変更する。
• 生成モデル、メトリクス学習、アンサンブル手法などの追加部品を必要としない。

実験結果

リサーチクエスチョン

• RQ1 損失関数における等方性は、アーキテクチャや訓練手順の変更なしにOOD検出性能を向上させることができるか？
• RQ2 事後予測における高エントロピーを強制することで、分布内精度を維持したままOOD検出性能が向上するか？
• RQ3 単純なドロップイン損失置き換えが、複雑な最先端のOOD検出手法を上回ることができるか？
• RQ4 提案されたエントロピー得点は、従来のOOD検出メトリクスと比べて速度と精度で優れているか？
• RQ5 最大エントロピーの原則は、ニューラルネットワークの不確実性推定を向上させるためにどの程度活用可能か？

主な発見

• IsoMaxは出力分布における等方性と高エントロピーを強制することで、OOD検出性能を顕著に向上させる。
• 敵対的訓練、データオーグメンテーション、アンサンブル手法を一切必要とせず、SOTAのOOD検出結果を達成する。
• エントロピー得点は計算コストを最小限に抑えつつ、高速かつ正確なOOD検出を実現する。
• 分布内精度を高水準に維持すると同時に、分布外サンプルの過信度を著しく低減する。
• 標準的な訓練パイプラインと完全に互換性があり、アーキテクチャの変更や追加部品が一切不要である。
• 実験により、提案手法が既存のSOTAアプローチを上回ることを確認し、それらの一般的な欠陥を回避している。