[論文レビュー] Is Out-of-Distribution Detection Learnable?

Zhen Fang, Yixuan Li+4 more|arXiv (Cornell University)|Oct 26, 2022

Machine Learning and Algorithms被引用数 32

ひとこと要約

この論文は、OOD検出のPAC学習理論フレームワークを開発し、OOD検出が学習可能かどうかの条件を証明し、特にニューラルネットワークと有限ID分布のもとで学習可能性を達成できる状況を特定する。

ABSTRACT

Supervised learning aims to train a classifier under the assumption that training and test data are from the same distribution. To ease the above assumption, researchers have studied a more realistic setting: out-of-distribution (OOD) detection, where test data may come from classes that are unknown during training (i.e., OOD data). Due to the unavailability and diversity of OOD data, good generalization ability is crucial for effective OOD detection algorithms. To study the generalization of OOD detection, in this paper, we investigate the probably approximately correct (PAC) learning theory of OOD detection, which is proposed by researchers as an open problem. First, we find a necessary condition for the learnability of OOD detection. Then, using this condition, we prove several impossibility theorems for the learnability of OOD detection under some scenarios. Although the impossibility theorems are frustrating, we find that some conditions of these impossibility theorems may not hold in some practical scenarios. Based on this observation, we next give several necessary and sufficient conditions to characterize the learnability of OOD detection in some practical scenarios. Lastly, we also offer theoretical supports for several representative OOD detection works based on our OOD theory.

研究の動機と目的

• 未知で多様なOODデータの下でOOD検出の学習理論を研究する動機づけ。
• ドデイン空間と仮説空間におけるOOD検出のPAC学習フレームワークを提供。
• 不可能性の結果を特定し、実用空間での学習可能性を特徴づける条件を導出。
• FCNNsやスコアベース手法など実用的な仮説空間と理論を結びつける。

提案手法

• IDとOOD分布が混在するドメイン空間と仮説/スコアリング関数空間を定義。
• R_D(h)とR_D^α(h)リスクを導入し、OOD検出の学習可能性と強い学習可能性を定義。
• 学習可能性は分布に依存しないことを証明し、必要条件として条件1（線形条件）を導出。
• 総空間と分離空間での不可能定理を確立し、IDとOOD分布の重なりを分析。
• 代表的な事前未知空間（単一分布、総、分離、有限ID、密度ベース）を導入し、それぞれの学習可能性条件を検討。
• 多クラスID設定のためのIDと2値分類仮説の構築的組み合わせを提案し、関連条件（条件2、3）を述べる。
• 理論を実践に結びつけ、FCNNベースおよびスコアベースの仮説空間に結果を対応づける。

実験結果

リサーチクエスチョン

• RQ1 OODデータが訓練時に欠如し多様であっても、PACの意味でOOD検出は学習できるか。
• RQ2 ドメイン空間と仮説空間において、OOD検出の（強い）学習可能性を保証する条件は何か。
• RQ3 IDとOOD分布の重なりは学習可能性にどのように影響するか。
• RQ4 実用的な空間（有限ID、密度ベース等）は学習可能性の必要十分条件を認めるか。
• RQ5 ニューロンネットワークとスコアベースの仮説空間は提案された理論条件とどのように整合するか。

主な発見

• IDとOODの重なりが存在する、または特定の写像の下では、総空間ではOOD検出は学習不可である（総空間における不可能性定理）。
• 線形関係（条件1）は学習可能性に必要であり、単一分布空間では十分である。
• 分離空間では、穏当な仮定の下で学習可能性は失われ得るが、有限入力ドメインサイズやIDとバイナリ（OOD）分類器の特定の組み合わせなど追加の構造の下で可能になる。
• 有限ID分布空間は学習可能性に必要かつ十分な適合性条件（条件3）を受け入れ、 この条件の下で学習率は1/√nのオーダーが達成可能。
• 密度ベース空間では、仮説クラスが有限Natarajan次元を持つ場合、実現可能性（条件3）は学習可能性を満たし、同様のサブ線形学習率。
• この理論は実用的なOOD手法をサポートし、遠距離OOD画像シナリオが学習可能なOOD検出により適している場合があることを明らかにする。