[論文レビュー] Likelihood Ratios for Out-of-Distribution Detection

Jie Ren, Peter J. Liu+6 more|arXiv (Cornell University)|Jun 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 49被引用数 8

ひとこと要約

本稿では、深層生成モデルにおける分布外（OOD）検出を向上させるため、誤差を引き起こす共変量の背景統計を補正する尤度比手法を提案する。この手法は、ゲノムおよび画像データの両方でベースライン尤度ベース手法を著しく上回り、再訓練を要せず、分布内固有の特徴を分離する背景モデルを活用することで、最先端のOOD検出性能を達成する。

ABSTRACT

Discriminative neural networks offer little or no performance guarantees when deployed on data not generated by the same process as the training distribution. On such out-of-distribution (OOD) inputs, the prediction may not only be erroneous, but confidently so, limiting the safe deployment of classifiers in real-world applications. One such challenging application is bacteria identification based on genomic sequences, which holds the promise of early detection of diseases, but requires a model that can output low confidence predictions on OOD genomic sequences from new bacteria that were not present in the training data. We introduce a genomics dataset for OOD detection that allows other researchers to benchmark progress on this important problem. We investigate deep generative model based approaches for OOD detection and observe that the likelihood score is heavily affected by population level background statistics. We propose a likelihood ratio method for deep generative models which effectively corrects for these confounding background statistics. We benchmark the OOD detection performance of the proposed method against existing approaches on the genomics dataset and show that our method achieves state-of-the-art performance. We demonstrate the generality of the proposed method by showing that it significantly improves OOD detection when applied to deep generative models of images.

研究の動機と目的

• 実世界の機械学習導入において、信頼性の高いOOD検出を実現するという重要な課題に取り組むこと、特に、未知の細菌配列に直面する医療ゲノム分野における応用を想定する。
• 深層生成モデルの原始尤度スコアがなぜOOD検出に失敗するのかを調査すること、特に、集団レベルの背景統計が混同要因として作用する理由を解明すること。
• 再トレーニングを必要とせず、これらの背景統計を補正することでOOD検出性能を向上させる汎用的な手法を開発すること。
• OOD検出手法の再現可能な評価を可能にする生物学的に意味のある文脈での、現実的なゲノムOODベンチマークデータセットの作成および公開。
• この手法が、ゲノム配列および画像データの両方のモダリティに成功裏に適用されることを示し、その一般化可能性を実証すること。

提案手法

• 分布内モデルにおけるサンプルの尤度と、一般集団統計を捉える背景モデルにおける尤度を比較する尤度比手法を提案する。
• すべての分布内およびOODクラスを統合してトレーニングすることで、一般的な統計的パターン（例：ヌクレオチド頻度、ピクセル強度分布）を表現する背景モデルを学習する。
• 尤度比を log p(x|in-distribution model) - log p(x|background model) として計算し、共有される背景特徴の影響を低減する。
• 尤度比スコアをOOD検出のメトリクスとして用い、低い値がOODである可能性が高いことを示す。
• 自動回帰的および変分オートエンコーダーに基づく生成モデルの両方を用い、ゲノムおよび画像データにこの手法を適用する。
• モデルアーキテクチャ、背景モデルの構成、尤度比の閾値などのハイパーパrameterを、分布内検証データを用いてチューニングする。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルが、分布内データとは別に学習されたにもかかわらず、OOD入力に対してより高い尤度を割り当てる理由は何か？
• RQ2 DNAの塩基構成や画像のピクセル強度分布といった、集団レベルの背景統計が、尤度ベースのOOD検出にどの程度混同要因として作用するか？
• RQ3 背景統計を差し引く尤度比アプローチが、原始尤度スコアに比べてOOD検出性能を向上させられるか？
• RQ4 提案手法は、ゲノム配列や画像といった異なるデータモダリティにどの程度一般化可能か？
• RQ5 提案ベンチマーク上での遺伝的距離（またはデータ類似度）とOOD検出性能の関係は何か？

主な発見

• 尤度比手法は、原始尤度スコアを著しく上回り、ゲノムベンチマークのMoorea OODクラスにおいて、0.904のAUROCを達成した。これは、ベースライン手法のスコアを下回るものであった。
• 提案されたゲノムOOD検出ベンチマークにおいて、最先端の性能を示し、未観測の細菌クラスに対しても優れたロバストネスを示した。
• 尤度比手法において、遺伝的距離とAUROCの間に強い正の相関（ピアソン r = 0.570）が存在し、より類縁性の低いOODクラスは検出が容易であることが示された。
• 尤度比手法は、画像データセットに対してもOOD検出性能を向上させ、ゲノム分野を超えた一般化可能性を示した。
• この手法は、背景統計の混同効果を低減し、それにより深層生成モデルがOOD入力に対して分布内入力よりも高い尤度を割り当てる原因を是正した。
• アンサンブルベース分類器ベースラインはMucilaginibacter OODクラスで0.910のAUROCを達成したが、この手法はいくつかの検出が難しいクラスでそれを上回り、そのロバストネスを示した。