[論文レビュー] Feed Two Birds with One Scone: Exploiting Wild Data for Both Out-of-Distribution Generalization and Detection

Haoyue Bai, Gregory Canal+4 more|arXiv (Cornell University)|Jun 15, 2023

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

Scone は、共変量シフトを含む野外データと意味的にOODなサンプルの両方を含むラベルなしデータを用いて、OOD一般化とOOD検出を同時に改善するマージンベースのフレームワークを提案します。WOODSを含む CIFAR-10/MNIST 風の設定でベースラインを上回ります。

ABSTRACT

Modern machine learning models deployed in the wild can encounter both covariate and semantic shifts, giving rise to the problems of out-of-distribution (OOD) generalization and OOD detection respectively. While both problems have received significant research attention lately, they have been pursued independently. This may not be surprising, since the two tasks have seemingly conflicting goals. This paper provides a new unified approach that is capable of simultaneously generalizing to covariate shifts while robustly detecting semantic shifts. We propose a margin-based learning framework that exploits freely available unlabeled data in the wild that captures the environmental test-time OOD distributions under both covariate and semantic shifts. We show both empirically and theoretically that the proposed margin constraint is the key to achieving both OOD generalization and detection. Extensive experiments show the superiority of our framework, outperforming competitive baselines that specialize in either OOD generalization or OOD detection. Code is publicly available at https://github.com/deeplearning-wisc/scone.

研究の動機と目的

• オープンワールド展開における共変量シフト（OOD一般化）と意味的シフト（OOD検出）の両方を扱う統一フレームワークを動機づける。
• 分布内、共変量-OOD、意味的-OODサンプルを混在させるラベルなしの野外データを活用して、堅牢な分類器と信頼できる検出器を訓練する。
• ID データ上のマージンを明示的に課すエネルギー・フレームワークを開発し、共変量シフトへの一般化を向上させつつ意味的 OOD の検出を維持する。

提案手法

• 野外データを三者混合としてモデル化する: P_wild = (1-π_c-π_s) P_in + π_c P_out^covariate + π_s P_out^semantic.
• 共有パラメータ化エネルギーベースの分類器 f_θ と OOD 検出器 g_θ を訓練し、ID 精度とOOD検出を最大化しつつ野外サンプルを活用する。
• ID サンプルに対して E_θ(x) ≤ η を課すエネルギー・マージン η を導入し、ID 上の違反を α に制約する。Augmented Lagrangian 最適化で解く。
• ニューラルネットワークでの最適化を実現するために、0/1 ロスを滑らかな代理指標（シグモイドベースのロス）に置換する。
• 前提WOODSを拡張して負のエネルギー・マージン η < 0 を課すことで、決定境界を押し上げ、共変量-OOD一般化を改善する。
• 特徴空間で共変量シフト点がID点に近い場合、適切な η が共変量-OOD データの正しい分類につながるとする理論的洞察を提供する。

実験結果

リサーチクエスチョン

• RQ1 research_questionsBrazil?

主な発見

Method	OOD Accuracy (MNIST-C)	ID Accuracy (MNIST)	FPR95	AUROC
WOODS (Katz-Samuels et al., 2022)	88.10%	97.88%	0.194%	99.88%
Ours	96.51%	97.79%	0.017%	99.99%

• Scone は OOD 一般化の substantial gains を達成し、CIFAR-10 の OOD 精度を 52.76%（WOODS）から 84.69%へ改善した。
• Scone は競争力のある ID 精度を維持し、ベースラインと比較して最小限の損失。
• Scone は OOD 検出性能を強力に示し、いくつかの設定（例: SVHN の意味的 OOD ケース）でポストホック検出器を上回る。
• エネルギー・マージン η は鍵となる; より負の η は検出指標のトレードオフを抑えつつ OOD 精度の向上を大きくする。
• WOODS と比較して、野外データ中の共変量シフトの割合 π_c が増加しても Scone は頑健性を維持する。
• MNIST 風の実験では、Scone は 96.51% の OOD 精度と 99.99% の AUROC を達成し、WOODS を上回った。
• 総じて、Scone は複数のベンチマークで OOD 一般化のみ、または OOD 検出のみを専門とする手法を上回る。