[論文レビュー] Robust Variational Autoencoders for Outlier Detection and Repair of Mixed-Type Data

Simão Eduardo, Alfredo Nazábal+2 more|arXiv (Cornell University)|Jul 15, 2019

Anomaly Detection Techniques and Applications参考文献 5被引用数 4

ひとこと要約

本稿では、混合型テーブルデータ内のセル単位の外れ値を同時に検出・修復する深層生成モデルであるロバスト変分オートエンコーダー（RVAE）を提案する。各特徴量を、正常データをモデル化する成分と外れ値を分離する成分から成る二成分混合モデルで表現することで、訓練中に異常セルの寄与度を低減し、ハイブリッド推論スキームを用いることで、ハイパーパramータの選択に強く依存しない優れた外れ値検出および修復性能を達成する。

ABSTRACT

We focus on the problem of unsupervised cell outlier detection and repair in mixed-type tabular data. Traditional methods are concerned only with detecting which rows in the dataset are outliers. However, identifying which cells are corrupted in a specific row is an important problem in practice, and the very first step towards repairing them. We introduce the Robust Variational Autoencoder (RVAE), a deep generative model that learns the joint distribution of the clean data while identifying the outlier cells, allowing their imputation (repair). RVAE explicitly learns the probability of each cell being an outlier, balancing different likelihood models in the row outlier score, making the method suitable for outlier detection in mixed-type datasets. We show experimentally that not only RVAE performs better than several state-of-the-art methods in cell outlier detection and repair for tabular data, but also that is robust against the initial hyper-parameter selection.

研究の動機と目的

• 行単位の異常のみに焦点を当てた教師なし外れ値検出のギャップを埋める。特に、セル単位の汚染を特定する。
• 各行のどの特定のセルが異常であるかを同定する手法を開発し、正確なデータ修復を可能にする。
• 連続的およびカテゴリカル特徴量を統合的に扱う、確率的に整合性のある外れ値スコアリングメカニズムを備えた混合型テーブルデータを処理する。
• 訓練中に外れ値の影響を低減することで、深層生成モデルの外れ値に対するロバスト性を向上させる。
• ラベル付きデータがなく、ハイパーパramータのチューニングを極力行わず、異なる特徴タイプ間で整合性のある外れ値スコアを提示する原理的かつ整合的な手法を提供する。

提案手法

• 各特徴量ごとに二成分混合モデルを導入：一つの成分は正常データをモデル化し、もう一つの成分は外れ値セルを分離する。
• 訓練中の異常セルの寄与度を低減するために、ロバストな発散（α-発散）を用いる。
• 推論の精度を向上させるために、アンモトライズド推論と正確な変分更新を組み合わせたハイブリッド推論スキームを実装する。
• VAEフレームワーク内において、連続的特徟能力はガウス尤度、カテゴリカル特徴量はソフトマックス尤度でモデル化する。
• 混合成分の割り当てから各セルが外れ値である確率を学習することで、セル単位の検出を可能にする。
• バランスの取れた、整合性のあるスコアリングメカニズムを用いて特徴量間の尤度を組み合わせることで、行単位の外れ値スコアを構築する。

実験結果

リサーチクエスチョン

• RQ1 教師なしの状態で、ラベルなしの混合型テーブルデータにおいて、深層生成モデルが個々のセルレベルの外れ値を検出し、修復できるか。
• RQ2 深層生成モデルにおいて、連続的およびカテゴリカル特徴量の間で統一的かつ比較可能な外れ値スコアをどのように構築できるか。
• RQ3 訓練中にロバストな推論を組み込むことで、標準的なVAEと比較して外れ値検出およびデータ修復性能が向上するか。
• RQ4 特にラベル付き検証セットが存在しない状況下で、ハイパーパramータの選択にどれほど頑健であるか。
• RQ5 アンモトライズドと正確な更新を組み合わせたハイブリッド推論戦略は、外れ値検出タスクにおいて、標準的なアンモトライズド推論を上回る性能を示すか。

主な発見

• RVAEは、特にノイズが多い環境や複雑な特徴タイプを有する状況下でも、混合型テーブルデータにおけるセル単位の外れ値検出および修復において、複数の最先端手法を上回る性能を示した。
• αハイパーパramータの値が変化しても、一貫した修復性能を維持しており、極端な値（α ≈ 0 または 1）を除けば劣化は顕著でない。これは、ハイパーパramータ選択に対して強いロバスト性を示している。
• ハイブリッド推論スキームは、標準的なアンモトライズド推論と比較して、事後分布推定およびモデル性能の両面で顕著な向上を達成した。
• 混合型特徴量の尤度をバランスよく組み合わせた本手法の行外れ値スコアは、異常な行を効果的かつ整合的に検出するための優れた指標を提供した。
• 訓練中に外れ値の影響を低減することで、RVAEは外れ値への過学習を低減し、正常データの分布のより正確な推定を可能にした。
• 従来のVAEが特徴タイプ間の尤度が比較不能であるため失敗する高次元で混合型のデータセットにおいても、RVAEはセル単位の外れ値を効果的に同定できた。