[論文レビュー] Deep Variational Semi-Supervised Novelty Detection

Tal Daniel, Thanard Kurutach+1 more|arXiv (Cornell University)|Nov 12, 2019

Anomaly Detection Techniques and Applications参考文献 47被引用数 4

ひとこと要約

本稿では、変分オートエンコーダー（VAEs）を用いた半教師あり異常検出のための、2つの原理的で整合性のある変分推論手法—Dual-Prior VAE および CUBO正則化VAE—を提案する。これらの手法は、トレーニング中に外れ値データを明示的にモデル化する。エンコーダーが正常および異常な潜在表現を分離するよう促すことで、画像、医療、天文学的データを含む多様なデータセットで、最先端または競争力のある性能を達成する。これは、1%のラベル付き異常例しか使用しない場合でも同様に成立する。

ABSTRACT

In anomaly detection (AD), one seeks to identify whether a test sample is abnormal, given a data set of normal samples. A recent and promising approach to AD relies on deep generative models, such as variational autoencoders (VAEs), for unsupervised learning of the normal data distribution. In semi-supervised AD (SSAD), the data also includes a small sample of labeled anomalies. In this work, we propose two variational methods for training VAEs for SSAD. The intuitive idea in both methods is to train the encoder to `separate' between latent vectors for normal and outlier data. We show that this idea can be derived from principled probabilistic formulations of the problem, and propose simple and effective algorithms. Our methods can be applied to various data types, as we demonstrate on SSAD datasets ranging from natural images to astronomy and medicine, can be combined with any VAE model architecture, and are naturally compatible with ensembling. When comparing to state-of-the-art SSAD methods that are not specific to particular data types, we obtain marked improvement in outlier detection.

研究の動機と目的

• 教師なしVAEが分布外サンプルを検出できないという限界を、少数のラベル付き異常例を組み込むことで是正すること。
• トレーニング中に負例（外れ値）を明示的に考慮する、原理的で確率的フレームワークをVAEトレーニングに開発すること。
• VAEの目的関数を変更し、正常および異常な潜在表現を分離することで、異常検出における一般化性能を向上させること。
• 画像、医療データ、テキストを含む多様なデータモダリティにわたり、提案手法の柔軟性と有効性を示すこと。
• VAEベースの異常検出におけるモデルアンサンブルの原理的利用を可能とし、耐障害性と性能を向上させること。

提案手法

• 正常および外れ値データに別々の事前分布を使用するDual-Prior VAE（DP-VAE）を提案。これにより、エンコーダーが外れ値を別個の潜在空間にマッピングするよう促される。
• 標準ELBOとカイ上界（CUBO）を組み合わせたCUBO正則化VAEを導入。これにより、正常データの尤度を最大化すると同時に、外れ値の尤度を最小化する。
• 両手法を半教師あり異常検出（SSAD）問題の原理的確率的定式化から導出。理論的根拠を明確に保証。
• 任意のVAEアーキテクチャに適用可能で、アーキテクチャ的制約なし。既存モデルとの互換性を確保。
• 提案された目的関数でトレーニングされた複数のVAEのアンサンブルをサポート。検出の耐障害性を向上。
• 負例をトレーニング時に組み込むことで、運動計画やセンチメント分析といった異常検出以外のタスクにも適用可能であることを示し、一般化を実証。

実験結果

リサーチクエスチョン

• RQ1 少数のラベル付き外れ値が利用可能な状況で、原理的確率的定式化がVAEベースの異常検出を改善できるか？
• RQ2 VAEトレーニング目的関数をどのように変更すれば、正常および異常な潜在表現を明示的に分離できるか？
• RQ3 わずか1%のラベル付き異常例を組み込んでも、多様なデータタイプにおける検出性能がどの程度向上するか？
• RQ4 提案手法をモデルアンサンブルと組み合わせることで、さらなる検出性能向上が達成できるか？
• RQ5 本手法は、負例が利用可能な他の生成モデルタスクへも一般化可能か？

主な発見

• 提案されたDP-VAEおよびCUBO正則化VAEは、CIFAR-10、衛星画像、心臓疾患データセットを含む包括的なSSADベンチマークで、最先端または競争力のあるAUROCスコアを達成。
• CIFAR-10で1%の異常例を用いた場合、固定デコーダーと5モデルのアンサンブルを用いてAUROCが74.5 ± 8.4に達し、先行手法を上回る性能を示した。
• アブレーションスタディの結果、正常および外れ値データに共通のエンコーダーを使用することは重要であるが、限定的な外れ値データではデコーダーの固定による利益は最小限にとどまる。
• 運動計画タスクにおいても、サンプル品質が顕著に向上：図3に示すように、標準CVAEと比較してDP-VAEは衝突を起こしやすい構成を生成する頻度が著しく低下した。
• 異常検出を越えて一般化が可能であることが実証された。障害物境界サンプルを負例として組み込むことで、ロボットの運動計画用の条件付きVAEの性能が向上した。
• わずか1%のラベル付き異常例であっても、外れ値検出性能が顕著に向上する。これは、本手法のデータ効率性を示している。