[論文レビュー] Isotropic Maximization Loss and Entropic Score: Fast, Accurate, Scalable, Unexposed, Turnkey, and Native Neural Networks Out-of-Distribution Detection

David Macêdo, Tsang Ing Ren+4 more|arXiv (Cornell University)|Aug 15, 2019

Adversarial Robustness in Machine Learning被引用数 2

ひとこと要約

本論文は、神経ネットワークにおける不確実性の主因であるSoftMax損失の非等方性に着目し、IsoMax損失とエントロピックスコアを提案することで、分布外検出（ODD）を改善する。SoftMaxをIsoMaxに置き換えることで、敵対的訓練や外れ値露出、アンサンブル、ベイジアン手法を必要とせず、高速で正確かつスケーラブルでネイティブなODDが実現可能となり、最小限の変更で最先端の性能を達成する。

ABSTRACT

Current out-of-distribution detection (ODD) approaches require cumbersome procedures that add undesired side-effects to the solution. In this paper, we argue that the uncertainty in neural networks is mainly due to SoftMax loss anisotropy. Consequently, we propose an isotropic loss (IsoMax) and a decision score (Entropic Score) to significantly improve the ODD performance while keeping the overall solution fast, accurate, scalable, unexposed, turnkey, and native. Our experiments indeed showed that uncertainty is extremely reduced simply by replacing the SoftMax loss without relying on techniques such as adversarial training/validation, special-purpose data augmentation, outlier exposure, ensembles methods, Bayesian mechanisms, generative approaches, metric learning, or additional classifiers/regressions. The results also showed that our straightforward proposal overcomes ODIN, ACET, and is competitive against the Mahalanobis approach besides avoiding their undesired requirements and weaknesses. Since IsoMax loss works as a direct and transparent SoftMax loss drop-in replacement, these techniques may be used combined with our loss to increase the overall performance even more if their associated drawbacks are not a concern in a particular use case.

研究の動機と目的

• 分布外検出（ODD）における神経ネットワークの不確実性の根本的原因であるSoftMax損失の非等方性を特定し、その是正を行う。
• 敵対的訓練や外れ値露出、アンサンブルといった複雑で副作用を伴う手法に依存しないODD性能の向上を図る。
• 既存の深層学習パイプラインに最小限のアーキテクチャ変更で統合可能であり、高速でスケーラブルな手法を設計する。
• ODIN やマハラノビス法といった最先端手法と同等またはそれ以上のODD性能を達成するが、それらが要請する条件や制限を回避する。

提案手法

• 出力空間における非等方性を排除するように設計された、SoftMax損失の直接的かつ透明な代替手段としてのIsoMax損失を提案。
• IsoMaxモデルの出力確率から導出される意思決定スコアとしてのエントロピックスコアを導入し、分布内と分布外のサンプルを区別する。
• ロジットの正規化を最適化することで、意思決定境界における一様性を促進し、信頼度推定における方向的バイアスを低減するようにIsoMax損失を定式化。
• 標準的な交差エントロピー学習をIsoMax損失と組み合わせることで、アーキテクチャの大規模な見直しを伴わず、既存の学習パイプラインへのシームレスな統合を可能にする。
• 出力確率のエントロピーに基づいた不確実性スコアをエントロピックスコアで計算し、追加のモデルやキャリブレーションを必要とせず、効果的なODDを実現。
• IsoMax損失によるエンドツーエンド学習と、エントロピックスコアを用いた推論を組み合わせ、標準的なディープラーニングフレームワークと完全に互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 SoftMax損失の非等方性を低減することで、追加の複雑さを伴わずに分布外検出性能を著しく向上させることができるか？
• RQ2 SoftMax損失の即座の置き換えであるIsoMaxが、スケーラブルで効率的な状態で最先端のODD性能を達成できるか？
• RQ3 エントロピックスコアは、補助モデルやデータを必要とせず、IsoMaxモデルと組み合わせて分布外サンプルを効果的に検出できるか？
• RQ4 ODIN、ACET、およびマハラノビスベースのアプローチと比較して、本手法は正確性、スケーラビリティ、および必要な学習手順の観点でどのように差をつけるか？
• RQ5 IsoMaxとエントロピックスコアは、他のODD技術と組み合わせて使用可能か？その場合、それらの技術が通常伴う欠点を回避できるか？

主な発見

• SoftMax損失をIsoMax損失に置き換えることで、非等方性が排除され、神経ネットワークにおける不確実性が著しく低減され、追加の学習やデータを必要とせずODD性能が向上する。
• 本手法はマハラノビス法と同等の性能を達成し、外れ値露出や敵対的訓練を必要としないにもかかわらず、ODIN や ACET を上回る性能を標準ベンチマークで示した。
• エントロピックスコアは、モデルの出力確率のみを用いて分布外サンプルを効果的に区別でき、追加の分類器や回帰モデルを必要としない。
• 本手法は完全にスケーラブルであり、標準的なディープラーニングパイプラインと互換性があり、アーキテクチャの変更なしに直接SoftMaxの代替として機能する。
• 本手法は「即席型」かつ「ネイティブ」として特徴づけられており、複雑なセットアップやキャリブレーション手順を要せず、生産環境への即時導入が可能である。
• そのシンプルさと直接統合性のおかげで、既存のODD手法が通常伴う副作用（分布シフトや分布シフト下での性能低下）を回避する。