[論文レビュー] AUTO: Adaptive Outlier Optimization for Test-Time OOD Detection

Puning Yang, Jian Liang+2 more|arXiv (Cornell University)|Mar 22, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、テスト時における分布外（OOD）検出を向上させるために、ラベルなしのオンラインテストデータを用いて深層ネットワークを適応的に最適化するAUTOという手法を提案する。in-outに配慮したフィルタ、動的IDメモリバンク、および意味的に一貫性のある目的関数を組み合わせることで、深刻な忘却を軽減し、CIFAR-10、CIFAR-100、ImageNetベンチマークで最先端の性能を達成するとともに、分布内（ID）の精度を維持する。

ABSTRACT

Out-of-distribution (OOD) detection aims to detect test samples that do not fall into any training in-distribution (ID) classes. Prior efforts focus on regularizing models with ID data only, largely underperforming counterparts that utilize auxiliary outliers. However, data safety and privacy make it infeasible to collect task-specific outliers in advance for different scenarios. Besides, using task-irrelevant outliers leads to inferior OOD detection performance. To address the above issue, we present a new setup called test-time OOD detection, which allows the deployed model to utilize real OOD data from the unlabeled data stream during testing. We propose Adaptive Outlier Optimization (AUTO) which allows for continuous adaptation of the OOD detector. Specifically, AUTO consists of three key components: 1) an in-out-aware filter to selectively annotate test samples with pseudo-ID and pseudo-OOD and ingeniously trigger the updating process while encountering each pseudo-OOD sample; 2) a dynamic-updated memory to overcome the catastrophic forgetting led by frequent parameter updates; 3) a prediction-aligning objective to calibrate the rough OOD objective during testing. Extensive experiments show that AUTO significantly improves OOD detection performance over state-of-the-art methods. Besides, evaluations on complicated scenarios (e.g. multi-OOD, time-series OOD) also conduct the superiority of AUTO.

研究の動機と目的

• 静的補助アウトライヤーと分布ギャップ、カバレッジの制限に依存する従来のOOD検出手法の限界を解消すること。
• トレーニング時の変更なしに、ラベルなしのオンラインテストデータを活用する実用的なテスト時OOD検出パラダイムを提案すること。
• テスト時最適化中に発生する深刻な忘却を克服し、分布内性能を維持しながらOOD検出を向上させること。
• 推論中にリアルタイムで疑似IDおよび疑似OODサンプルを動的に同定し、学習する手法を開発すること。

提案手法

• テスト時推論中に疑似IDと疑似OODサンプルを区別できるように、分布内データ上でトレーニングされたin-outに配慮したフィルタを採用する。
• 各クラスごとに1つの代表的サンプルを格納する動的IDメモリバンクを構築し、モデルのファインチューニングと分布内精度の維持に用いる。
• 疑似OODサンプルを用いてモデルをリアルタイムで更新し、オリジナルモデルの予測と一致するように、意味的に一貫性のある目的関数で最適化を誘導する。
• 意味的一致性のある目的関数は、分布内サンプルにおけるオリジナルモデルと更新済みモデルの予測の乖離を最小化することで、性能の低下を防止する。
• OOD検出損失と意味的一致性損失を組み合わせた重み付き損失を採用し、最適なトレードオフを得るためにハイパーパrameterを調整する。
• フレームワークは推論中に繰り返し適用され、最適化頻度を制御しながら、到着するテストデータに継続的に適応可能である。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしのオンラインデータを用いたテスト時最適化は、分布内精度を損なうことなくOOD検出性能を著しく向上させることができるか？
• RQ2 テスト時データでモデルをリアルタイムに更新する際、深刻な忘却をどのように軽減できるか？
• RQ3 OOD検出における効果的かつ安定したテスト時適応に不可欠な要素は何か？
• RQ4 λ₂やφといったハイパーパrameterの選定が、OOD検出とID分類のバランスにどのように影響するか？
• RQ5 IDメモリバンクのサイズと構成は、モデル性能にどの程度の影響を及ぼすか？

主な発見

• ResNet-34を用いたCIFAR-100では、AUROCが97.36に達し、先行手法を大きく上回る性能を示した。
• Places365ベンチマークでは、FPR95が46.27、AUROCが89.67を達成し、複雑なOODデータに対しても優れた一般化性能を示した。
• 初期のIDサンプルを100個に制限することで、計算コストを99%削減しながらも、ほぼ最適な性能を維持した。
• アブレーションスタディの結果、動的IDメモリバンクと意味的一致性のある目的関数の両方が、ID精度の維持に不可欠であることが確認された。
• 1つのOODサンプルあたりT=2回のイテレーションが、性能と推論速度の最良のトレードオフを提供し、2回を超えると利得が減少した。
• テストデータに最大90%のOODデータが含まれる状況でも、本手法は強固に機能し、異なるデータ分布への高い適応性を示した。