[論文レビュー] Training OOD Detectors in their Natural Habitats

Julian Katz-Samuels, Julia Nakhleh+2 more|arXiv (Cornell University)|Feb 7, 2022

Anomaly Detection Techniques and Applications被引用数 15

ひとこと要約

この論文では、分類済みの外れ値データを必要とせず、自然に混合されたインディストリビューション（ID）および外れ値（OOD）サンプルの混合物である「ワイルド」データ——つまり、ラベルなしの自然な混合データ——を用いてOOD検出器を学習する、新しい制約付き最適化フレームワークWOODSを提案する。増分ラグランジュ法を用いて扱いやすい最適化問題に定式化することで、WOODSはSOTAのOOD検出性能を達成し、CIFAR-100においてベースライン手法よりFPR95で48.10%優れている。また、Outlier Exposure（OE）よりも7.36%優れている。

ABSTRACT

Out-of-distribution (OOD) detection is important for machine learning models deployed in the wild. Recent methods use auxiliary outlier data to regularize the model for improved OOD detection. However, these approaches make a strong distributional assumption that the auxiliary outlier data is completely separable from the in-distribution (ID) data. In this paper, we propose a novel framework that leverages wild mixture data, which naturally consists of both ID and OOD samples. Such wild data is abundant and arises freely upon deploying a machine learning classifier in their natural habitats. Our key idea is to formulate a constrained optimization problem and to show how to tractably solve it. Our learning objective maximizes the OOD detection rate, subject to constraints on the classification error of ID data and on the OOD error rate of ID examples. We extensively evaluate our approach on common OOD detection tasks and demonstrate superior performance.

研究の動機と目的

• 既存のOOD検出手法が手動で収集したクリアな補助的外れ値データセットに依存するという限界を是正すること。
• 実世界の運用環境において、豊富でラベルなしの「ワイルド」データ——つまり、自然に混合されたIDおよびOODサンプルの混合物——を活用すること。
• 高いID分類精度を維持しながら、IDデータに対する誤ったOOD検出を最小限に抑える制約付き最適化フレームワークの開発。
• 増分ラグランジュ法を用いて、深層ニューラルネットワークのための扱いやすいエンドツーエンドの学習手順を提供すること。

提案手法

• OOD検出を制約付き最適化問題として定式化：OOD検出率を最大化すると同時に、ID分類誤りとIDデータに対するOOD誤差を制約する。
• 不等式制約を伴う制約付き最適化問題を解くために増分ラグランジュ法（ALM）を用い、確率的勾配降下法によるエンドツーエンド学習を可能にする。
• 深層学習と互換性がある微分可能なシグモイド損失関数を用い、従来の非効率な0-1損失とは異なり、OOD検出を実現する。
• ラベル付きIDデータとラベルなしワイルドデータのみを用いて、ID分類とOOD検出の両方の目的関数を統合した学習目的関数を構築する。
• 非線形不等式制約を満たす深層ニューラルネットワークへのALMの適応により、強い理論的保証を得る。
• ID誤差とIDデータに対するOOD誤差の制約を強制するために、双対上昇戦略を採用し、ベースライン分類精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 クリアな外れ値データセットへのアクセスがなく、ラベルなしワイルドデータのみを用いて、OOD検出器を効果的に学習できるか？
• RQ2 制約付き最適化をどのように深層ニューラルネットワークに適応させ、ID分類とOOD検出を同時に最適化できるか？
• RQ3 自然に発生するデータの混合を活用することで、オフラインの補助的外れ値データよりも、実世界のテスト時分布への一般化性能が向上するか？
• RQ4 ワイルドデータにおけるIDおよびOODデータの混合比を変化させた場合、OOD検出性能にどのような影響を与えるか？
• RQ5 補助的外れ値データを用いる強力なベースラインと比較して、提案手法のFPR95および検出精度はどの程度優れているか？

主な発見

• CIFAR-100において、WOODSはIDデータのみで学習された強力なベースラインよりFPR95で48.10%の改善を達成した。
• Outlier Exposure（OE）よりもFPR95で7.36%優れており、ワイルドデータがキュレートされた補助的外れ値データを上回ることを示した。
• ワイルドデータの混合比が著しく偏っていても、近似的に最適なID分類精度を維持しながら、顕著にOOD検出性能が向上した。
• アブレーションスタディーにより、多様なデータセットおよび変化するID/OOD混合比のワイルドデータにおいて、安定した性能を示した。
• 理論的および実験的分析により、制約付き最適化フレームワークにおけるシグモイド損失の選択が、有効なOOD検出をもたらすことが確認された。
• 増分ラグランジュ法により、強い収束保証と安定した扱いやすさを持つ学習が可能となり、正則化に基づくアプローチを上回った。