[論文レビュー] Anomaly Detection with Tensor Networks

Jinhui Wang, Chase Roberts+2 more|arXiv (Cornell University)|Jun 3, 2020

Anomaly Detection Techniques and Applications参考文献 41被引用数 18

ひとこと要約

この論文では、テンソルネットワークを活用して高次元変換を効率的に表現する、新しい線形モデルであるテンソルネットワーク異常検出（TNAD）を紹介する。変換行列のフロベニウスノルムを正則化することで、スパースな正常データの周囲にタイトなフィットを実現し、テーブルデータではディープラーニングおよび古典的手法を上回り、空間的局所性を利用しない画像データに対しても競争力のある結果を達成する。

ABSTRACT

Originating from condensed matter physics, tensor networks are compact representations of high-dimensional tensors. In this paper, the prowess of tensor networks is demonstrated on the particular task of one-class anomaly detection. We exploit the memory and computational efficiency of tensor networks to learn a linear transformation over a space with dimension exponential in the number of original features. The linearity of our model enables us to ensure a tight fit around training instances by penalizing the model's global tendency to a predict normality via its Frobenius norm---a task that is infeasible for most deep learning models. Our method outperforms deep and classical algorithms on tabular datasets and produces competitive results on image datasets, despite not exploiting the locality of images.

研究の動機と目的

• 正常データは豊富だが異常はまれで、広大かつ高次元な空間に散らばるという一クラス異常検出の課題に対処すること。
• 深層学習モデルの高次元のモデル複雑性により、入力空間全体における挙動を制御することが難しいという制限を克服すること。
• テンソルネットワークの記憶および計算効率を活用し、高次元特徴空間のコンactかつ表現力のある表現を学習すること。
• 線形変換のフロベニウスノルム正則化により、正常インスタンスの周囲にタイトなフィットを実現すること。これは、大多数のディープラーニングモデルでは非現実的である戦略である。
• 画像の局所性のようなドメイン特異的なインダクティブバイアスに依存せずに、テンソルネットワークがディープラーニングの強力でスケーラブルな代替手段として異常検出に利用可能であることを示すこと。

提案手法

• モデルは入力よりも指数的に大きな特徴空間における線形変換を用い、全行列計算を回避するため、テンソルネットワークを介してコンactに表現する。
• 主なイノベーションは、モデルの全般的な正常性への傾向をペナルティ化するためのフロベニウスノルム正則化の使用であり、これにより学習済みインスタンスの周囲にタイトな意思決定境界が保証される。
• モデルは2種類の特徴埋め込みを採用する：三角関数型（ϕ_trig）およびフーリエ型（ϕ_four）。後者はGlassのようなデータセットで直交性をより効果的に活用するために使用される。
• テンソルネットワークの構造はボンド次元b=5および、埋め込み次元を訓練サンプル数に対して相対的に制御するパラメータαで定義される。
• 安定化のため、減衰および学習率の減少を伴う二段階の訓練スキームが用いられる。特に大規模モデルにおいて有効である。
• 異常スコアは、モデルの意思決定関数から導出され、線形変換の出力を計算する。値が高くなるほど、正常性からの逸脱度が大きくなる。

実験結果

リサーチクエスチョン

• RQ1 テンソルネットワークは、計算的に効率的な方法で、異常検出のための高次元線形変換を表現するために効果的に使用可能か？
• RQ2 線形変換のフロベニウスノルム正則化は、ディープラーニングモデルと比較して、スパースな正常データの周囲にタイトなフィットを実現するか？
• RQ3 テンソルネットワークパラメータ化を施した線形モデルは、古典的手法およびディープラーニング手法をすべてのテーブル異常検出ベンチマークで上回るか？
• RQ4 TNADのような局所性に依存しないモデルの性能は、画像データセットにおいて局所性に依存するモデルと比較してどうか？
• RQ5 テンソルネットワークは、ドメイン特異的なインダクティブバイアスに依存せずに、一クラス異常検出のためのスケーラブルで広大なモデルアーキテクチャとして十分に機能するか？

主な発見

• TNADはODDSベンチマークの5つのデータセットすべてで最高のAUROCを達成し、Wineでは97.3±4.5%を記録。次に良い手法（OC-SVM：60.0%）を大きく上回った。
• Glassデータセットでは、81.8±7.3%のAUROCを達成。クラス不均衡が著しく、サイズが小さいにもかかわらず、OC-SVM（62.0%）および他のベースラインを上回った。
• Thyroidデータセットでは、最高のベースライン（99.0±0.1%）と同等の99.0±0.1%のスコアを達成し、中程度のサイズのデータに対して高いロバストネスを示した。
• 大規模なForest Coverデータセットでは、98.8±0.6%のAUROCを達成。OC-SVM（97.7%）およびGOAD（64.6±4.7%）を含むすべての他のモデルを上回った。
• GOADの性能は、SatelliteやForest Coverのような非画像データでは著しく低下した。これは、アフィン変換が任意のテーブルデータに一般化しにくい可能性を示唆している。
• Glassデータセットにおけるフーリエ埋め込み（ϕ_four）の使用は、性能に不可欠であった。これは、埋め込み設計が、小さな高不均衡データセットにおけるモデル成功に大きな影響を与えることを示している。