[論文レビュー] Partial and Asymmetric Contrastive Learning for Out-of-Distribution Detection in Long-Tailed Recognition

Haotao Wang, Aston Zhang+5 more|arXiv (Cornell University)|Jul 4, 2022

Anomaly Detection Techniques and Applications被引用数 10

ひとこと要約

本稿では、長尾分布における分布外（OOD）検出の性能を向上させるために、部分的かつ非対称な教師付き対照的学習（PASCL）を提案する。標準的手法は、尾部クラスの分布内サンプルとOODサンプルの間で混同が生じるため、長尾認識において失敗する。PASCLでは、対照的損失を尾部クラスにのみ適用し、非対称な学習（同じクラスの尾部サンプルを引き寄せる一方で、OODサンプルから遠ざける）を実装する。さらに、分布内精度を向上させるために補助ブランチの微調整を用いる。CIFAR10-LT、CIFAR100-LT、ImageNet-LTにおいて、FPRと精度が1.29–7.89%向上し、最先端性能を達成する。

ABSTRACT

Existing out-of-distribution (OOD) detection methods are typically benchmarked on training sets with balanced class distributions. However, in real-world applications, it is common for the training sets to have long-tailed distributions. In this work, we first demonstrate that existing OOD detection methods commonly suffer from significant performance degradation when the training set is long-tail distributed. Through analysis, we posit that this is because the models struggle to distinguish the minority tail-class in-distribution samples, from the true OOD samples, making the tail classes more prone to be falsely detected as OOD. To solve this problem, we propose Partial and Asymmetric Supervised Contrastive Learning (PASCL), which explicitly encourages the model to distinguish between tail-class in-distribution samples and OOD samples. To further boost in-distribution classification accuracy, we propose Auxiliary Branch Finetuning, which uses two separate branches of BN and classification layers for anomaly detection and in-distribution classification, respectively. The intuition is that in-distribution and OOD anomaly data have different underlying distributions. Our method outperforms previous state-of-the-art method by $1.29\%$, $1.45\%$, $0.69\%$ anomaly detection false positive rate (FPR) and $3.24\%$, $4.06\%$, $7.89\%$ in-distribution classification accuracy on CIFAR10-LT, CIFAR100-LT, and ImageNet-LT, respectively. Code and pre-trained models are available at https://github.com/amazon-research/long-tailed-ood-detection.

研究の動機と目的

• 長尾分布に従う学習データにおいて、尾部クラスの分布内サンプルがOODと誤分類されることが性能を著しく低下させる問題に対処すること。
• 既存のOOD検出手法が、特徴空間の重複により、尾部クラスの分布内サンプルとOODサンプルを区別できないことの特定。
• 尾部クラスの分布内特徴とOOD特徴を明示的に分離しつつ、ヘッドクラスの識別性能を維持する対照的学習フレームワークの提案。
• バッチ正規化と分類ヘッドの最適化を分離することで、OOD検出性能を損なわずに分布内分類精度を向上させること。

提案手法

• 尾部クラスの分布内サンプルとOODサンプルにのみ対照的損失を適用する、部分的かつ非対称な教師付き対照的学習（PASCL）を導入する。ヘッドクラスには適用しない。
• 同じクラスの尾部サンプルをグループ化（正例ペア）し、OODサンプルは負例として扱い、クラスタリングを避けることで非対称性を強制する。
• 尾部クラスを最小頻度のk%（例：デフォルトでk=50%）として定義し、識別が難しい尾部サンプルに焦点を当てた部分的対照的学習を可能にする。
• 補助ブランチ微調整（ABF）を用い、OOD検出と分布内分類のそれぞれに別々のバッチ正規化（BN）および分類層を訓練することで、分布内とOODデータの異なる分布に適切に対応する。
• 分類用の交差エントロピー損失と特徴空間分離用の対照的損失を組み合わせてモデルを最適化し、各タスクブランチごとに独立したBN統計を維持する。
• 部分性、非対称性、ABFの必要性を検証するためのアブレーションスタディを実施し、尾部クラス閾値（k）などのハイパーパrameterをチューニングする。

実験結果

リサーチクエスチョン

• RQ1 なぜ既存のOOD検出手法は、長尾学習セットにおいて顕著な性能低下を示すのか。特に、尾部クラスの分布内サンプルとOODサンプルの区別が困難になる理由は何か。
• RQ2 対照的学習を長尾認識におけるOOD検出に適応させることで、尾部クラスの分布内特徴とOOD特徴の明示的区別をモデル化できるか。
• RQ3 OODサンプルが互いに引き寄せられない非対称な対照的学習を強制することで、モデルの一般化性能とOOD検出性能が向上するか。
• RQ4 補助ブランチ微調整によるバッチ正規化と分類ヘッドの最適化の分離は、OOD検出性能を損なわず、分布内分類精度を向上させられるか。
• RQ5 提案手法は尾部クラス閾値（k）の選択にどれほど敏感か。部分的対照的学習に含めるクラスの最適なパcentは何か。

主な発見

• PASCLは、CIFAR10-LTでFPR95が1.29%向上、CIFAR100-LTで1.45%向上、ImageNet-LTで0.69%向上し、過去のSOTAを上回るOOD検出性能を達成した。
• CIFAR10-LTでは3.24%、CIFAR100-LTでは4.06%、ImageNet-LTでは7.89%高い分布内分類精度を達成した。
• 対照的損失をすべてのクラスに適用すると、ヘッドクラスサンプルの支配により性能が低下するため、尾部クラスにのみ適用する部分的学習が不可欠である。
• OODサンプルが集約されない非対称な対照的学習は、特に部分的学習と組み合わせることで顕著な性能向上をもたらす。
• 補助ブランチ微調整（ABF）は、CIFAR10-LTで最大4.17ポイント、ImageNet-LTで4.12ポイントの分布内精度向上を達成し、モデルサイズの増加は最小限に抑えられた。
• ハイパーパrameterの選択に対して頑健である：最適な性能はk=50%で達成され、k∈[40%,60%]の範囲で安定した結果が得られ、ABFはフルモデル微調整を上回る性能を示した。