[論文レビュー] Using Semantic Information for Defining and Detecting OOD Inputs

Ramneet Kaur, Xiayan Ji+6 more|arXiv (Cornell University)|Feb 21, 2023

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿では、訓練データの意味的情報を活用して、分布的統計ではなく意味的コンテンツに焦点を当てることで、より効果的に分布外（OOD）入力を定義・検出する新規なOOD検出手法を提案する。このアプローチにより、誤検出を低減し、誤った特徴（スパurious features）を有するOOD入力の検出性能を著しく向上させ、MNIST、COCO、Birds、CelebAを含むベンチマークで最先端の性能を達成する。

ABSTRACT

As machine learning models continue to achieve impressive performance across different tasks, the importance of effective anomaly detection for such models has increased as well. It is common knowledge that even well-trained models lose their ability to function effectively on out-of-distribution inputs. Thus, out-of-distribution (OOD) detection has received some attention recently. In the vast majority of cases, it uses the distribution estimated by the training dataset for OOD detection. We demonstrate that the current detectors inherit the biases in the training dataset, unfortunately. This is a serious impediment, and can potentially restrict the utility of the trained model. This can render the current OOD detectors impermeable to inputs lying outside the training distribution but with the same semantic information (e.g. training class labels). To remedy this situation, we begin by defining what should ideally be treated as an OOD, by connecting inputs with their semantic information content. We perform OOD detection on semantic information extracted from the training data of MNIST and COCO datasets and show that it not only reduces false alarms but also significantly improves the detection of OOD inputs with spurious features from the training data.

研究の動機と目的

• 訓練データの分布からバイアスを引き継ぐ既存のOOD検出器の限界を解消すること。
• 背景やスパurious特徴に関係なく、関連する意味的コンテンツを含む入力をインディストリビューション（in-distribution）と再定義することで、OOD検出を再考すること。
• 訓練クラスと関連する意味的コンテンツを欠いているが、同じラベルを持つOOD入力を改善して検出すること。
• 現実世界のデータに一般的に見られる背景、色、テクスチャの変化といったスパurious特徴に対して、頑健な検出方法を開発すること。
• 特に、ラベルの重複があるにもかかわらず意味的欠落を示す入力に対して優れた性能を示すことを実証すること。

提案手法

• 訓練クラスラベルに関連する意味的情報を含む入力を、背景やスパurious特徴にかかわらずインディストリビューションと定義する。
• 意味的セグメンテーションネットワーク（例：FPN-ResNet50、Lee et al. 2020）を用いて、画像の意味的に関連する領域を抽出・分離する。
• 2段階のセグメンテーションアルゴリズム（$\mathcal{N}_r$）を適用し、画像を二値化して、中心部を意味的に関連する領域、周辺部を関連しない領域としてマークする。
• テスト画像とMix-MNISTから得たデジット画像のリファレンスセットとの間で構造的類似度（SSIM）を計算し、意味的一致度を評価する。
• SSIM類似度に基づいて、リファレンスセット内のどのデジットとも一致しない場合に、入力をOODと宣言する。
• Vizwiz、Fashion-MNIST、Birds、CelebAを含む複数のベンチマークで、AUROCと95% TPRにおけるTNRを用いて検出性能を評価する。

Figure 1: The intended distribution has a much higher variability in terms of the samples it covers, when compared to the training distribution. The classifier trained to classify birds in {sitting birds, flying birds} is expected to generalize well for the intended distribution, which has birds sit

実験結果

リサーチクエスチョン

• RQ1 分布的統計ではなく意味的コンテンツを主な基準とする場合、真のOOD入力とは何か？
• RQ2 スパurious特徴を有する入力を検出する際、意味的ベースのOOD検出は分布ベースの手法と比べてどのように異なるか？
• RQ3 Birds や CelebA のようなスパurious特徴のバイアスが高いデータセットにおいて、意味的セグメンテーションはOOD検出を向上させ得るか？
• RQ4 本手法は、意味的に関連するが分布的に異なる入力における誤検出（ファルスポジティブ）をどの程度低減できるか？
• RQ5 品質劣化（例：ぼやけ、暗い画像）やクラスラベルが不一致のOOD入力に対して、本手法はどのように性能を示すか？

主な発見

• 本手法はImageNetでAUROC 97.31%、LSUNで99.57%を達成し、ODIN や Mahala といったSOTA検出器を上回る性能を示した。
• Vizwiz OODテストセット（ぼやけた、暗い、遮蔽された画像）において、95% TPRでのTNRが67.15%に達し、ODIN（66.67%）やMahala（54.16%）を上回った。
• Fashion-MNISTのOOD入力（ラベルが不一致）において、AUROCは84.27%を達成し、Mahalaの86.03%と同等であり、95% TPRにおけるTNRは44.67%で、ベースライン中で2番目に高い性能を示した。
• 既存の検出器が訓練データのバイアスにより失敗する、陸上の水鳥や灰色の髪の男性のようなスパurious特徴を有するOOD入力に対しても、本手法は著しく検出性能を向上させた。
• 意味的ベースの検出により、非標準の背景（例：雪の上にいる鳥）を有するインディストリビューション入力における誤検出が低減され、実世界でのモデルの実用性が向上した。
• MNIST、COCO、Birds、CelebAを含む多様なデータセットにおいて、本手法は汎用性に優れ、特定のアーキテクチャやデータタイプに依存しない一般化能力を確認した。

Figure 2: Images from Birds and CelebA dataset (left). OOD for birds dataset are images without birds, and OOD for CelebA dataset are images of people without hair (right).