[論文レビュー] Robust Subspace Recovery Layer for Unsupervised Anomaly Detection

Chieh-Hsin Lai, Dongmian Zou+1 more|arXiv (Cornell University)|Mar 30, 2019

Anomaly Detection Techniques and Applications参考文献 50被引用数 28

ひとこと要約

本稿では、外れ値をフィルタリングしながら潜在表現からの線形構造を抽出する、耐性のある部分空間回復（RSR）層を統合した新規な耐性部分空間回復オートエンコーダー（RSRAE）を提案する。この手法は、オートエンコーダーにおける再構成誤差とRSR誤差を交互に最適化することで、画像およびドキュメントデータセットにおいて最先端の精度と再現率を達成する。

ABSTRACT

We propose a neural network for unsupervised anomaly detection with a novel robust subspace recovery layer (RSR layer). This layer seeks to extract the underlying subspace from a latent representation of the given data and removes outliers that lie away from this subspace. It is used within an autoencoder. The encoder maps the data into a latent space, from which the RSR layer extracts the subspace. The decoder then smoothly maps back the underlying subspace to a "manifold" close to the original inliers. Inliers and outliers are distinguished according to the distances between the original and mapped positions (small for inliers and large for outliers). Extensive numerical experiments with both image and document datasets demonstrate state-of-the-art precision and recall.

研究の動機と目的

• 従来の手法が失敗する高外れ値比を示すデータセットにおける非教師付き異常検出を解決すること。
• 外れ値による著しい汚染にもかかわらず、データの潜在的な線形構造を頑健に回復できる深層学習フレームワークの開発。
• より良い部分空間推定を実現するため、微分可能RSR層を統合した、従来のオートエンコーダーに基づく異常検出の改善。
• 再構成誤差を用いて、元の位置に近いインライナーと、元の位置から遠いアウトライアーを区別することで、効果的な異常検出を可能にすること。
• 実際の外れ値条件を想定した多様なデータセット（画像およびテキストを含む）において、優れた性能を示すことを実証すること。

提案手法

• モデルは、入力データを潜在空間にマップするエンコーダーを用いたオートエンコーダー構造を採用する。
• エンコーダーの直後に、外れ値に対して頑健な低次元部分空間を抽出する、新規な微分可能なRSR層を挿入する。
• デコーダーは部分空間からデータを再構成し、インライナーを元の位置に近づけ、アウトライアーを遠ざけることを目的とする。
• 総損失関数は再構成誤差とRSR誤差を組み合わせており、オートエンコーダーとRSRパラメータの交互最適化によって最適化される。
• RSR層は、外れ値の割合が非常に高い場合でも、元の線形構造を回復できる耐性のある最適化フレームワークを用いる。
• ハイパーパrameter λ₁ と λ₂ は再構成誤差とRSR誤差のトレードオフを制御し、アブレーション実験により λ₁=λ₂=0.1 の周辺で安定した性能が得られることを示している。

実験結果

リサーチクエスチョン

• RQ1 微分可能なRSR層は、高外れ値比の状況下での非教師付き異常検出を改善できるか？
• RQ2 オートエンコーダーのアーキテクチャ内にRSRを統合することで、標準的なオートエンコーダーと比較して、部分空間回復および外れ値検出の性能がどのように向上するか？
• RQ3 ハイパーパrameter λ₁ と λ₂ が、多様なデータセットにおけるモデル性能に与える影響は何か？
• RQ4 提案手法RSRAEは、画像およびドキュメントデータセットにおいて、AUCおよびAPスコアの面で、既存の最先端手法を上回る性能を示すか？
• RQ5 交互最適化スキームは、ノイズや汚染されたデータが存在する状況下で、収束性および頑健性にどのように影響を与えるか？

主な発見

• RSRAEは、Caltech 101、Fashion MNIST、Tiny ImageNet、Reuters-21578、20 Newsgroups データセットにおいて、最先端のAUCおよびAPスコアを達成した。
• すべてのテストデータセットで、AE、AE-1、DSEBMs、DAGMM、GTを上回ったが、特に高外れ値比の状況下で顕著な優位性を示した。
• RSRAE+（ハイパーパrameterチューニングあり）はRSRAEと同等の性能を示したが、RSRAEの交互最適化はλ₁およびλ₂に依存せず、より安定していた。
• RSRAEのAUCおよびAPスコアはハイパーパrameterの選択に強く依存せず、20 Newsgroupsデータセットではλ₁=λ₂=0.1で最適な性能が観察された。
• 実行時間解析の結果、RSRAEは他の深層学習ベースの手法と同等の性能を示し、DSEBMs、DAGMM、GTよりも高速な推論を実現した。
• 深層特徴なしではTiny ImageNetで性能が著しく低下したため、頑健な検出には高レベル表現の重要性が示された。