[論文レビュー] Improving Entropic Out-of-Distribution Detection using Isometric Distances and the Minimum Distance Score.

David Macêdo, Teresa B. Ludermir|arXiv (Cornell University)|May 30, 2021

Anomaly Detection Techniques and Applications参考文献 30被引用数 4

ひとこと要約

本稿では、IsoMax損失における距離の等長化とエントロピー得点の最小距離得点への置き換えにより、エントロピーに基づく分布外検出を改善する。これらの変更により、モデルアーキテクチャや学習手順を変更せずに検出性能が向上し、元のアプローチのシームレスな性質を保ちつつ、分布外検出精度が向上する。

ABSTRACT

Current out-of-distribution detection approaches usually present special requirements (e.g., collecting outlier data and hyperparameter validation) and produce side effects (classification accuracy drop and slow/inefficient inferences). Recently, entropic out-of-distribution detection has been proposed as a seamless approach (i.e., a solution that avoids all the previously mentioned drawbacks). The entropic out-of-distribution detection solution comprises the IsoMax loss for training and the entropic score for out-of-distribution detection. The IsoMax loss works as a SoftMax loss drop-in replacement because swapping the SoftMax loss with the IsoMax loss requires no changes in the model's architecture or training procedures/hyperparameters. In this paper, we propose to perform what we call an isometrization of the distances used in the IsoMax loss. Additionally, we propose to replace the entropic score with the minimum distance score. Our experiments showed that these simple modifications increase out-of-distribution detection performance while keeping the solution seamless. Code available at $\href{this https URL}{ ext{entropic out-of-distribution detection}}$.

研究の動機と目的

• 外部データ収集やハイパーパramータチューニングを必要とする既存の分布外検出手法の限界を解消すること。
• すでにシームレスではあるが、さらなる最適化が可能なエントロピー的分布外検出の性能を向上させること。
• モデルアーキテクチャや学習手順の変更を避けることで、元の手法のシームレスな性質を維持すること。
• 等長距離正則化と最小距離スコアが、検出のロバスト性と精度を向上させることを検証すること。

提案手法

• 学習中にクラス間距離の相対的関係を保つために、IsoMax損失における距離の等長化。
• 分布外検出にエントロピー得点の代わりに最小距離得点を採用。
• モデルアーキテクチャや学習ハイパーパramータの変更なしに、IsoMax損失を直接SoftMaxの代替として使用。
• 特徴空間における既知のクラス中心への最小距離を、サンプルの距離として測定する。
• 追加のデータ収集や推論時調整を避けることで、元の手法のシームレスな性質を保持。
• 等長距離正則化と最小距離スコアリングを、既存のエントロピー的OOD検出フレームワークに統合。

実験結果

リサーチクエスチョン

• RQ1 IsoMax損失における等長距離正則化は、分布外検出性能の向上に寄与するか？
• RQ2 エントロピー得点を最小距離得点に置き換えることで、手法のシームレスな性質を損なわず、OOD検出性能が向上するか？
• RQ3 これらの変更は、元のエントロピー的手法と比較して、検出精度と推論効率にどのような影響を与えるか？
• RQ4 標準的なトレーニングパイプラインとの互換性を保ちつつ、性能をどの程度向上できるか？

主な発見

• 提案されたIsoMax損失における距離の等長化により、特徴空間の幾何構造が改善され、OOD検出性能が向上した。
• エントロピー得点を最小距離得点に置き換えることで、インディストリビューションとアウトオブディストリビューションのサンプル間の識別性能が強化された。
• 既存のトレーニングパイプラインと完全に互換性があり、モデルアーキテクチャやハイパーパramータの変更が不要であった。
• 等長距離と最小距離スコアの組み合わせにより、元のエントロピー的手法よりも優れたOOD検出性能が達成された。
• 精度の低下や推論非効率性などの副作用を引き起こさずに、改善が達成された。
• 解決策はシームレスなままであり、元のエントロピー的OOD検出手法の主な利点を保持したままであった。