[論文レビュー] Understanding Failures in Out-of-Distribution Detection with Deep Generative Models

Lily H. Zhang, Larry B. Goldstein+1 more|arXiv (Cornell University)|Jul 14, 2021

Generative Adversarial Networks and Image Synthesis被引用数 24

ひとこと要約

この論文は、深層生成モデル（DGM）を用いた分布外（OOD）検出の失敗が、主にモデル推定誤差に起因するものであり、尤度に基づく検出法そのものに根本的な欠陥があるわけではないと主張する。特に、分布が重複しない（不一致なサポートを持つ）場合、高品質なDGMですらOODサンプルに高い尤度を割り当てる傾向があることが示され、これはサポートの誤推定に起因する。また、典型的集合仮説（typical set hypothesis）はOOD検出の失敗を説明するのに不十分な基盤であると挑戦する。

ABSTRACT

Deep generative models (DGMs) seem a natural fit for detecting out-of-distribution (OOD) inputs, but such models have been shown to assign higher probabilities or densities to OOD images than images from the training distribution. In this work, we explain why this behavior should be attributed to model misestimation. We first prove that no method can guarantee performance beyond random chance without assumptions on which out-distributions are relevant. We then interrogate the typical set hypothesis, the claim that relevant out-distributions can lie in high likelihood regions of the data distribution, and that OOD detection should be defined based on the data distribution's typical set. We highlight the consequences implied by assuming support overlap between in- and out-distributions, as well as the arbitrariness of the typical set for OOD detection. Our results suggest that estimation error is a more plausible explanation than the misalignment between likelihood-based OOD detection and out-distributions of interest, and we illustrate how even minimal estimation error can lead to OOD detection failures, yielding implications for future work in deep generative modeling and OOD detection.

研究の動機と目的

• 深層生成モデル（DGM）が、訓練に使われた分布内サンプルよりも分布外（OOD）サンプルに対して高い尤度を割り当てる理由を調査すること。
• 広く引用されている「典型的集合仮説」——つまり、関連するOOD分布がデータ分布の高尤度領域に位置するという主張——を、OOD検出の失敗を説明する根拠として不適切であると挑戦すること。
• 分布内と分布外のサポートが重複する場合、完全なモデルでさえもOOD検出性能に根本的な上限が生じることを示すこと。
• OOD検出の失敗の根本的要因は、分布の不一致ではなく、モデルの推定誤差であると主張すること。
• 今後の研究を導くために、OOD検出の改善は典型的集合に基づく検出基準の再定義ではなく、モデルの誤推定の是正に焦点を当てるべきだと提言すること。

提案手法

• OOD検出手法が、関連する分布外分布に関する仮定なしには、ランダムな当たり外れを超えた性能を保証できないことを証明すること。
• 典型的集合仮説を分析し、分布内と分布外のサポートが重複するという仮定が、根本的な性能限界を生じることを示すこと。
• サポートの重複がある場合、分布内を正確にモデル化した「完全なモデル」ですら、誤推定されたモデルよりもOOD検出性能が劣ることを示すこと。
• 実験的に、部分的に訓練されたDGMがサポートの重複がある場合、真のデータ分布を上回るOOD検出性能を示すことを示すこと。
• OOD画像に高い尤度が割り当てられる原因は、本来確率がゼロである領域に非ゼロの確率を割り当てている推定誤差に起因することを図示すること。
• 近年の典型的集合仮説に基づいたOOD検出手法は、実際には推定誤差を是正している可能性があり、それらの成功の再解釈を提案すること。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルが、訓練に使われた分布内サンプルよりも分布外画像に対して高い尤度を割り当てる理由は何か？
• RQ2 OOD検出に適切な根拠となるか？
• RQ3 分布内と分布外のサポートが重複する場合、OOD検出の性能限界は何か？
• RQ4 推定誤差が、分布の不一致よりもOOD検出の失敗を説明する程度はどの程度か？
• RQ5 典型的集合に依存するOOD検出手法は、実際にはモデルの推定誤差を是正している可能性があり、それには今後のモデル設計にどのような示唆があるか？

主な発見

• 関連する分布外分布に関する仮定なしには、OOD検出手法がランダムな当たり外れを超えた性能を保証できない。これは、OOD集合を明示的に定義する必要があることを示唆する。
• 典型的集合仮説は問題をはらんでいる。なぜなら、分布内と分布外のサポートが重複すると仮定しており、これによりOOD検出性能に解けない上限が生じるからである。
• サポートの重複がある場合、分布内を正確にモデル化した「完全なモデル」ですら、誤推定されたモデルよりもOOD検出性能が劣ることがある。
• 実験結果から、サポートの重複がある場合、部分的に訓練されたDGMが真のデータ分布を上回るOOD検出性能を示すことが判明した。これは、推定誤差が分布の不一致よりもより妥当な説明であることを示唆する。
• OOD画像に高い尤度が割り当てられる現象は、典型的集合仮説よりも、本来確率がゼロである領域に非ゼロの確率を割り当てている推定誤差の説明の方が適切である。
• 典型的集合仮説に基づいて開発された最近のOOD検出手法は、実際には推定誤差を是正している可能性があり、それらの成功の再解釈と、モデル改善への道筋を示唆する。