[論文レビュー] ReAct: Out-of-distribution Detection With Rectified Activations

Yiyou Sun, Chuan Guo+1 more|arXiv (Cornell University)|Nov 24, 2021

Adversarial Robustness in Machine Learning被引用数 46

ひとこと要約

ReAct は事後的な活性化 rectification アプローチで、ニューラルネットワークの高い活性化を抑制して OOD 検出を改善し、 retraining なしで ImageNet と CIFAR のベンチマークで最先端を達成します。

ABSTRACT

Out-of-distribution (OOD) detection has received much attention lately due to its practical importance in enhancing the safe deployment of neural networks. One of the primary challenges is that models often produce highly confident predictions on OOD data, which undermines the driving principle in OOD detection that the model should only be confident about in-distribution samples. In this work, we propose ReAct--a simple and effective technique for reducing model overconfidence on OOD data. Our method is motivated by novel analysis on internal activations of neural networks, which displays highly distinctive signature patterns for OOD distributions. Our method can generalize effectively to different network architectures and different OOD detection scores. We empirically demonstrate that ReAct achieves competitive detection performance on a comprehensive suite of benchmark datasets, and give theoretical explication for our method's efficacy. On the ImageNet benchmark, ReAct reduces the false positive rate (FPR95) by 25.05% compared to the previous best method.

研究の動機と目的

• ニューラルネットワークが OOD データに対して過信する問題とそれが OOD 検出へ与える影響を動機づける。
• 過信を緩和するために penultimate-layer の活性化を整合させる simple post hoc 手法 (ReAct) を導入する。
• 大規模および CIFAR ベンチマークで様々なアーキテクチャと OOD スコアリング関数で経験的改善を示す。
• Activation truncation が ID と OOD を区別する理由を理論的に分析する。

提案手法

• ReAct 操作の適用: bar{h}(x) = min(h(x), c) を penultimate 層の活性化に適用し、c は分布内データから選ばれるパーセンタイルベースの閾値。
• rectified activations f^{ReAct}(x) = W^T bar{h}(x) + b を使って下流の OOD スコアリング関数（例: energy score, MSP, ODIN）を活用する。
• c は分布内活性化の p-th パーセンタイルを用いて選ぶ（例: p=90）。
• 複数のアーキテクチャ（ResNet-50, MobileNet-v2）と正規化方式（BatchNorm, WeightNorm, GroupNorm）と互換性があることを示す。
• ReAct が平均 OOD 活性化を ID 活性化よりも小さく抑えること、そしてこれが出力スコアの ID と OOD の分離を改善することを理論的に分析する。

実験結果

リサーチクエスチョン

• RQ1 単純な切り捨てによる活性化の rectification がアーキテクチャ間で OOD 検出性能にどう影響するか？
• RQ2 ReAct は異なる OOD スコアリング関数と正規化方式に対して一般化するか？
• RQ3 なぜ OOD 入力は異常な活性化を引き起こし、活性化の切り捨てはこの効果を緩和できるか？
• RQ4 ReAct を適用した後の ID と OOD の分離が改善される理論的説明は？

主な発見

• ReAct は ImageNet および CIFAR の大規模ベンチマークで最先端の事後 OOD 検出性能を達成し、誤検知を大幅に削減します。例えば ResNet を用いた ImageNet では iNaturalist で FPR95 が 20.38、Textures で 47.30 まで、AUROC が 92.95、MSP、ODIN、エネルギーベースのベースラインを上回ります。
• CIFAR-10/100 では ReAct は様々なスコアリング関数と組み合わせると OOD 検出を一貫して改善します。エネルギーと ODIN を含む; energy+ReAct はデータセット全体で強い改善を示します。
• ImageNet ベンチマークでの大きな改善は、従来の最良手法と比べ FPR95 が 25.05 ポイント減少したことです。
• 理論分析は ReAct が OOD 活性化を ID 活性化よりも低減させることを示し、特に OOD 活性化が正の歪みと高いカオス性を示す場合に顕著で、これは多くの OOD 分布で一般的です；これが出力スコア（例: energy スコア）の OOD 対 ID の間のギャップを大きくする。
• 実験は ReAct がアーキテクチャ（ResNet-50, MobileNet-v2）と正規化方式（BatchNorm, WeightNorm, GroupNorm）をまたいで効果的であり、ペンultimate 層に適用する場合特に有利であることを示しています。