[論文レビュー] Anomaly scores for generative models

Václav Šmídl, Jan Bím+1 more|arXiv (Cornell University)|May 28, 2019

Anomaly Detection Techniques and Applications参考文献 38被引用数 5

ひとこと要約

本稿では、再構成誤差と潜在空間確率を統合した計算効率の良いスコアを提示する理論的裏付けのある異常スコアを、特に変分オートエンコーダー（VAEs）およびGANsに対して提案する。再パラメータライズド尤度を用いてデータを多様体成分と残差成分に分解することで、複数のデータセットにおいて教師ありおよび教師なしのハイパーパrameter選定において、標準的な再構成誤差を上回る性能を示す。

ABSTRACT

Reconstruction error is a prevalent score used to identify anomalous samples when data are modeled by generative models, such as (variational) auto-encoders or generative adversarial networks. This score relies on the assumption that normal samples are located on a manifold and all anomalous samples are located outside. Since the manifold can be learned only where the training data lie, there are no guarantees how the reconstruction error behaves elsewhere and the score, therefore, seems to be ill-defined. This work defines an anomaly score that is theoretically compatible with generative models, and very natural for (variational) auto-encoders as they seem to be prevalent. The new score can be also used to select hyper-parameters and models. Finally, we explain why reconstruction error delivers good experimental results despite weak theoretical justification.

研究の動機と目的

• 生成モデルにおける再構成誤差を異常スコアとして用いる際の理論的根拠の欠如に取り組む。
• VAEsおよびGANsと互換性のある形で、再構成誤差と潜在空間確率を統合したスコアを開発する。
• 特にラベル付き異常データが存在しない教師なし設定においても、信頼性の高いハイパーパrameterおよびモデル選定を可能にする。
• 正確な尤度評価に必要な高次元積分の計算可能性に劣る代替手段を提供する。

提案手法

• データを潜在空間の射影に加えたノイズとしてモデル化する多様体-残差分解を用いて生成モデルを再定式化する。
• 変数変換の公式を用いて正確な尤度を導出し、正規化定数が不要な正確な異常スコアの計算を可能にする。
• パラメトリックなエンコーダー $ g_{\phi} $ とジェネレータ $ f_{\theta} $ を用い、$ g_{\phi} $ が $ f_{\theta} $ の擬似逆行列を近似する。
• 同じ尤度フレームワークをVAEsおよびGANsに適用することで、再構成誤差に依存しないスコアを実現する。
• 訓練時に異常ラベルが存在しない場合でも、尤度最大化によるモデル選定にスコアを活用する。
• 潜在コード $ z' $ における最適化により正規化定数の近似を改善し、スコアの精度を向上させる手法を導入する。

実験結果

リサーチクエスチョン

• RQ1 再構成誤差と潜在確率を統合した理論的裏付けのある異常スコアを、生成モデルに対して導出可能か？
• RQ2 理論的根拠が弱いにもかかわらず、なぜ再構成誤差が実際には優れた性能を示すのか？
• RQ3 本稿で提案するスコアは、ラベル付き異常データが存在しない教師なし異常検出においてハイパーパrameter選定を改善できるか？
• RQ4 本稿のスコアは、教師ありおよび教師なしのモデル選定シナリオの両方で再構成誤差を上回るか？
• RQ5 低次元多様体の仮定は異常検出に有益であるか？また、性能にどのように影響を与えるか？

主な発見

• ラベル付き異常データを用いたハイパーパrameter選定において、提案スコアは全テスト問題においてAUCで再構成誤差を顕著に上回る。
• ラベル付き異常データが存在しない教師なし設定において、10問題中9問題で提案スコアが再構成誤差を上回るAUCを達成する。
• 提案スコアに基づく異常検出性能は、4〜6次元の潜在次元でピークに達し、低次元多様体のモデリングが有益であることを示唆する。
• 再構成誤差スコアは潜在次元にほとんど感度を示さない一方、提案スコアは明確な最適範囲を示し、多様体仮定を支持する。
• 本稿では、再構成誤差の実用的成功が理論的堅牢性よりも、好都合なデータ分布の整合性に起因する可能性を示している。
• 本手法により、ラベル付き異常データが存在しない場合でも、信頼性のあるスコアを提供することで、尤度最大化による正確なモデル選定が可能になる。