[論文レビュー] Further Analysis of Outlier Detection with Deep Generative Models

Ziyu Wang, Bin Dai+2 more|arXiv (Cornell University)|Oct 25, 2020

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 10

ひとこと要約

本稿では、時系列における弱 Stationarity 性とホワイトノイズ特性に基づく、新たな外れ値検出テストを提案する。尤度ベースの外れ値検出が失敗する理由は、モデルの不適合（miscalibration）ではなく、典型的集合（typical sets）と高密度領域の不一致に起因することを示している。本手法は標準的な尤度テストを上回り、単純なモデルですら生成モデル（DGMs）の失敗モードを再現できることを明らかにし、評価ベンチマークの見直しを促す。

ABSTRACT

The recent, counter-intuitive discovery that deep generative models (DGMs) can frequently assign a higher likelihood to outliers has implications for both outlier detection applications as well as our overall understanding of generative modeling. In this work, we present a possible explanation for this phenomenon, starting from the observation that a model's typical set and high-density region may not conincide. From this vantage point we propose a novel outlier test, the empirical success of which suggests that the failure of existing likelihood-based outlier tests does not necessarily imply that the corresponding generative model is uncalibrated. We also conduct additional experiments to help disentangle the impact of low-level texture versus high-level semantics in differentiating outliers. In aggregate, these results suggest that modifications to the standard evaluation practices and benchmarks commonly applied in the literature are needed.

研究の動機と目的

• 深層生成モデル（DGMs）が、意味的に異なる外れ値に対して、インリン（inliers）よりも高い尤度を割り当てる理由を説明すること。
• 有限かつ不完全なデータ下でも成り立つ典型的性（typicality principle）を一般化する、より頑健な外れ値検出テストを開発すること。
• 尤度ベースのテストの失敗が、モデルの不適合（miscalibration）を明確に示すものではないことを示すこと。
• 低レベルのテクスチャに依存するが、高レベルの意味的特徴に依存しない現在の外れ値検出ベンチマークの欠陥を暴露すること。
• DGMsにおける意味的理解をより適切に評価できるように、評価手法とベンチマークの見直しを提言すること。

提案手法

• インリンデータから再構築された系列における自己相関構造を用いたホワイトノイズテストを提案。厳密なIID仮定に代わり、弱い定常性基準を採用する。
• 文献に由来する時系列診断手法を適用し、ホワイトノイズからの逸脱を検出し、分布外（out-of-distribution）のサンプルを特定する。
• モデルのサンプリングによりインリンデータからテスト系列を構築し、提案されたテストにおけるその統計的性質を評価する。
• 複数のDGMとデータセットにおいて、標準的な尤度ベースの外れ値検出法および他の典型的性に基づく手法と比較する。
• 多変量正規分布モデルを用いて、観察された失敗モードが複雑なDGMに特有のものではなく、根本的な統計的性質に起因することを示す。
• 意味的一般化をより適切に評価できるように、低レベルのテクスチャに依存するのを減らす新しいベンチマークを設計する。

実験結果

リサーチクエスチョン

• RQ1 なぜ深層生成モデル（DGMs）は、意味的に異なる外れ値に対してインリンよりも高い尤度を割り当てるのか？
• RQ2 弱定常性およびホワイトノイズ特性に基づくテストは、標準的な尤度ベースの外れ値検出を上回ることができるか？
• RQ3 尤度ベースのテストの失敗は、モデルの不適合（miscalibration）によるものか、それとも本質的な統計的制限によるものか、その程度はいかほどか？
• RQ4 現在のベンチマークは、なぜ意図せずテクスチャベースの外れ値検出を優遇してしまうのか？
• RQ5 多変量正規分布のような単純なモデルでも、複雑なDGMsで観察される失敗モードを再現できるか？

主な発見

• 提案されたホワイトノイズベースの外れ値検出テストは、標準的な評価設定において尤度ベースのテストを一貫して上回り、尤度の失敗がモデルの不適合（miscalibration）を明確に示すものではないことを示している。
• 単純な多変量正規分布モデルですら、外れ値に対してインリンよりも高い尤度を割り当てる可能性がある。これは、この現象が深層生成モデルに特有のものではないことを示している。
• 現在のベンチマークでは、画像空間における線形自己相関を用いた検出が可能であるため、意味的理解の評価が適切に行われていない可能性がある。
• 典型的集合と高密度領域の不一致が、尤度ベースのテストの失敗を説明するが、これはモデルのキャリブレーション問題を示唆するものではない。
• 既存の評価手法は、低レベルの画像統計に依存しているため、DGMsの外れ値検出性能を過大評価している可能性がある。
• 本研究は、意味的差異に重点を置き、テクスチャベースの手がかりに依存を減らす新しいベンチマークの見直しを要請する。