[論文レビュー] Enhanced Isotropy Maximization Loss: Seamless and High-Performance Out-of-Distribution Detection Simply Replacing the SoftMax Loss

David Macêdo, Teresa B. Ludermir|arXiv (Cornell University)|May 29, 2021

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本論文では、訓練中における標準的な Softmax 損失の置き換えにより、ハイパーパramータのチューニング、追加データ、推論の遅延なしに、スムーズで高精度な分布外（OOD）検出を実現する、拡張された等方性最大化損失（IsoMax+）を提案する。等方的距離最適化と最小距離スコアの組み合わせにより、分類精度を維持したまま最先端の OOD 検出性能を達成し、効率的な推論を可能にする。

ABSTRACT

Current out-of-distribution detection approaches usually present special requirements (e.g., collecting outlier data and hyperparameter validation) and produce side effects (e.g., classification accuracy drop and slow/inefficient inferences). Recently, entropic out-of-distribution detection has been proposed as a seamless approach (i.e., a solution that avoids all previously mentioned drawbacks). The entropic out-of-distribution detection solution uses the IsoMax loss for training and the entropic score for out-of-distribution detection. The IsoMax loss works as a drop-in replacement of the SoftMax loss (i.e., the combination of the output linear layer, the SoftMax activation, and the cross-entropy loss) because swapping the SoftMax loss with the IsoMax loss requires no changes in the model's architecture or training procedures/hyperparameters. In this paper, we perform what we call an isometrization of the distances used in the IsoMax loss. Additionally, we propose replacing the entropic score with the minimum distance score. Experiments showed that these modifications significantly increase out-of-distribution detection performance while keeping the solution seamless. Besides being competitive with or outperforming all major current approaches, the proposed solution avoids all their current limitations, in addition to being much easier to use because only a simple loss replacement for training the neural network is required. The code to replace the SoftMax loss with the IsoMax+ loss and reproduce the results is available at https://github.com/dlmacedo/entropic-out-of-distribution-detection.

研究の動機と目的

• 既存の OOD 検出手法の限界、すなわち外れ値データへの依存、ハイパーパramータのチューニング、分類精度の低下を解消すること。
• 訓練目的の変更により、入力前処理や adversarial サンプル生成を不要にすることで、OOD 検出における入力前処理と adversarial データ生成の必要性を排除すること。
• 等方性と距離メトリクスの向上により、IsoMax 損失を改善し、OOD 検出性能を向上させること。
• 高速でエネルギー効率の良い推論を可能にしながら、高い分類精度を維持するソリューションを開発すること。
• 将来の推論ベースの OOD 検出手法と互換性がある新しい訓練ベースラインを確立し、さらなる性能向上を可能にすること。

提案手法

• 元の IsoMax 損失で用いられる距離メトリクスに対して等方的変換を適用し、特徴空間の等方性と一般化性能を向上させること。
• 計算コストを低減し、検出性能を向上させるために、エントロピー スコアを最小距離スコア（MDS）に置き換えること。
• ネットワーク構造や訓練手順の変更なしに、Softmax 交差エントロピー損失の直接的なドロップイン置き換えとして、強化された IsoMax+ 損失を使用すること。
• 標準的な訓練手順を維持したまま、Neural Network を IsoMax+ 損失で訓練することにより、すべての標準的ハイパーパramータと最適化ルーチンを保全すること。
• 追加のフォワードパスや温度スケーリングなしに、最終層の特徴から計算された最小距離スコアを用いて、推論時に OOD 検出を実行すること。
• 既存の推論ベースの OOD 手法（例：ODIN、マハラノビス、エネルギーベース）との互換性を確保し、IsoMax+ で訓練することで、後処理手法によるさらなる性能向上を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 訓練プロセスの変更なしに、クラス間距離の等方的変換を施すことにより、等方性最大化を向上させ、OOD 検出性能を向上させることができるか？
• RQ2 エントロピー スコアを最小距離スコアに置き換えることで、計算効率を維持したまま OOD 検出性能が向上するか？
• RQ3 本手法は、外れ値データ、ハイパーパramータのチューニング、入力前処理を一切必要とせずに、高精度な OOD 検出性能を達成できるか？
• RQ4 IsoMax+ 損失は、標準的な Softmax 訓練と比較して分類精度を維持することができるか、特に後続の OOD 検出手法と併用した場合でも同様か？
• RQ5 IsoMax+ 損失は、特に推論ベースの技術と組み合わせた場合に、将来の OOD 検出手法の優れた訓練ベースラインとして機能できるか？

主な発見

• 最小距離スコアを用いた提案された IsoMax+ 損失は、複数のベンチマークで最先端の OOD 検出性能を達成し、ODIN やマハラノビスベースの手法を上回る。
• 入力前処理や温度チューニングが不要な状態で、ODIN やマハラノビス手法を上回る AUROC を達成する。
• Softmax 損失ベースラインと比較して分類精度を1%以内に維持し、他の OOD 手法でよく見られる精度の低下を回避する。
• 追加のフォワードパスや adversarial 操作が不要なため、推論は高速かつエネルギー効率が良く、ODIN のように4倍の遅延が生じるのを回避する。
• 本手法は完全にシームレスである：モデル構造やハイパーパramータの変更なしに、訓練時に Softmax 損失を IsoMax+ に置き換えるだけで実現可能である。
• IsoMax+ 損失は既存の推論ベースの OOD 手法（例：マハラノビス、エネルギーベース）と互換性があり、後処理手法によるさらなる性能向上が可能である。