[論文レビュー] Latent space conditioning for improved classification and anomaly detection

Erik Norlander, Alexandros Sopasakis|arXiv (Cornell University)|Nov 24, 2019

Anomaly Detection Techniques and Applications参考文献 26被引用数 13

ひとこと要約

本稿では、既知のクラスラベルを用いてVAEの潜在空間を条件づけることで、クラスタリングおよび異常検出を向上させる条件付き潜在空間変分オートエンコーダー（CL-VAE）を提案する。各クラスごとにガウス・ミックスチャネル・モデル（GMM）を事前分布として用いる。MNISTおよび実世界の取引データにおいて、標準的なVAEや確立された異常検出手法を上回り、特にクラス不均衡やノイズが多いデータにおける教師なし設定で優れた性能を示す。

ABSTRACT

We propose a new type of variational autoencoder to perform improved pre-processing for clustering and anomaly detection on data with a given label. Anomalies however are not known or labeled. We call our method conditional latent space variational autonencoder since it separates the latent space by conditioning on information within the data. The method fits one prior distribution to each class in the dataset, effectively expanding the prior distribution to include a Gaussian mixture model. Our approach is compared against the capabilities of a typical variational autoencoder by measuring their V-score during cluster formation with respect to the k-means and EM algorithms. For anomaly detection, we use a new metric composed of the mass-volume and excess-mass curves which can work in an unsupervised setting. We compare the results between established methods such as as isolation forest, local outlier factor and one-class support vector machine.

研究の動機と目的

• クラス不均衡、欠損値、誤標識、重複するクラスを含む実世界のデータにおけるクラスタリングおよび異常検出の課題に対処すること。
• 既知のクラスラベルを用いてVAEの潜在空間を条件づけることで、教師なし性能を向上させ、データ分布のより良い分離を可能にすること。
• 次世代の分析に適した次元削減を実現しながらも、関係性を示す特徴情報を保持する手法の開発。
• EM-MV（異常検出用）およびVスコア（クラスタリング用）といった新規指標を用いて、教師ありおよび教師なしの両設定で手法を評価すること。
• MNISTおよび実際の取引データに代表される、実際的で多様なデータセット（内在するデータ品質の問題を含む）において、有効性を示すこと。

提案手法

• CL-VAEは、各クラスごとに別々の事前分布（ガウス分布）を適合させることで、潜在空間をクラスラベルに条件づける。これによりガウス・ミックスチャネル・モデル（GMM）事前分布が形成される。
• 標準的なVAEの損失関数を、クラス固有のKLダイバージェンス正則化を含むように変更し、各クラスの潜在表現が割り当てられた事前分布に従うように保証する。
• エンコーダは入力データを潜在ベクトルにマップし、デコーダは潜在コードから入力データを再構築することで、再構築誤差を最小化する。
• クラス条件付き事前分布を適用することで、単一の共有事前分布を仮定しないまま、各クラスごとの特徴的な潜在多様体を学習可能となる。
• k-meansおよびEMクラスタリングを、条件づけられた潜在空間に適用し、Vスコア指標を用いてクラスタリング性能を評価する。
• 異常検出のため、マス・ボリューム（mass-volume）曲線とエクセス・マス（excess-mass）曲線を統合したEM-MV指標を導入し、教師なし設定での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 既知のクラスラベルを用いてVAEの潜在空間を条件づけることで、標準的なVAEと比較してクラスタリング性能が向上するか？
• RQ2 CL-VAEは、教師なし設定においてIsolation Forest、LOF、One-Class SVMといった確立された異常検出手法を上回るか？
• RQ3 提案されたEM-MV指標は、ラベル付き異常データが存在しない状況でも、異常検出性能の評価に有効であるか？
• RQ4 CL-VAEは、実世界の応用において、クラス不均衡、誤標識、欠損特徴といったデータ問題をどの程度効果的に処理できるか？
• RQ5 潜在空間を2次元に削減した場合でも、可視化および分析に適した状態を維持したり、性能を向上させたりできるか？

主な発見

• k-meansおよびEMアルゴリズムを用いたMNISTおよび実取引データにおいて、Vスコア指標で測定したクラスタリング性能において、標準的なVAEと比較してCL-VAEが顕著に向上している。
• MNISTデータセットにおいて、CL-VAEはベースラインVAEよりも高いVスコアを達成しており、より優れたクラスタ分離性および純度を示している。
• EM-MV指標は、教師なし設定における異常検出性能において強く、実取引データにおいてIsolation Forest、LOF、One-Class SVMを上回った。
• 本手法は、クラス不均衡や誤標識を含むデータに対しても効果的に対処でき、実世界の応用において高いロバスト性を示した。
• 潜在空間の条件づけにより、クラス固有の特徴の分離がより良くなることが確認され、その後続のクラスタリングおよび異常検出性能が向上した。
• クラス固有のGMM事前分布を用いることで、単一のガウス事前分布よりも、複雑な多峰性を持つデータ分布をより効果的に捉えることができた。