[論文レビュー] Quadratic Neuron-empowered Heterogeneous Autoencoder for Unsupervised Anomaly Detection

Jing-Xiao Liao, Bojian Hou+6 more|arXiv (Cornell University)|Apr 2, 2022

Anomaly Detection Techniques and Applications参考文献 74被引用数 5

ひとこと要約

本稿では、従来のニューロンと2次ニューロンを統合することで、非教師付き異常検出の性能を向上させる、新しい異種オートエンコーダー（HAE）を提案する。2次ニューロンが非線形特徴を効率的に表現する理論的利点を活用することで、HAEは複数のベンチマークデータセットにおいて、同種オートエンコーダーや最先端モデルを上回る優れた性能を達成した。特にHAE-Yは平均AUCが0.796で最高となり、平均順位も2.500と2番目に良い結果を示した。

ABSTRACT

Inspired by the complexity and diversity of biological neurons, a quadratic neuron is proposed to replace the inner product in the current neuron with a simplified quadratic function. Employing such a novel type of neurons offers a new perspective on developing deep learning. When analyzing quadratic neurons, we find that there exists a function such that a heterogeneous network can approximate it well with a polynomial number of neurons but a purely conventional or quadratic network needs an exponential number of neurons to achieve the same level of error. Encouraged by this inspiring theoretical result on heterogeneous networks, we directly integrate conventional and quadratic neurons in an autoencoder to make a new type of heterogeneous autoencoders. To our best knowledge, it is the first heterogeneous autoencoder that is made of different types of neurons. Next, we apply the proposed heterogeneous autoencoder to unsupervised anomaly detection for tabular data and bearing fault signals. The anomaly detection faces difficulties such as data unknownness, anomaly feature heterogeneity, and feature unnoticeability, which is suitable for the proposed heterogeneous autoencoder. Its high feature representation ability can characterize a variety of anomaly data (heterogeneity), discriminate the anomaly from the normal (unnoticeability), and accurately learn the distribution of normal samples (unknownness). Experiments show that heterogeneous autoencoders perform competitively compared to other state-of-the-art models.

研究の動機と目的

• 従来の内積演算に依存する単一の従来型ニューロンに依存する同種ディープネットワークの限界を解消すること。
• ディープアーキテクチャにおける従来型と2次ニューロンの理論的および実用的利点を調査すること。
• 異なるニューロンタイプを統合することで、より優れた表現学習を実現する新しいタイプのオートエンコーダーである異種オートエンコーダー（HAE）を設計すること。
• 実験的異常検出の結果を通じて、異種ネットワークの関数近似における理論的優位性を検証すること。
• HAEが同種オートエンコーダーよりも少ないパラメータ数とFLOPsで、より優れた異常検出性能を達成できるかどうかを示すこと。

提案手法

• 従来型ニューロンの内積を簡略化された2次関数に置き換える2次ニューロンを提案し、非線形特徴表現の能力を向上させる。
• 異種ネットワークで効率的に近似可能な関数を構築し、純粋な従来型または2次ネットワークでは指数関数的に多くのニューロンを必要とする関数を定義する。
• 従来型と2次ニューロンを同じアーキテクチャに統合することで、より豊かな表現学習が可能な異種オートエンコーダー（HAE）を設計する。
• HAEの変種（HAE-X、HAE-Y、HAE-I）では、2本のブランチ構造または1本のブランチ構造を採用し、エンコーダー・デコーダーのパスを共有または別々に扱う。
• 標準的なオートエンコーダー損失（再構成誤差）を用いてHAEを学習し、AUCを主な指標として用いて異常検出性能を評価する。
• t-SNE可視化を用いて、AEとHAEモデルにおける正常サンプルと異常サンプルの潜在空間のクラスタリングを比較する。

実験結果

リサーチクエスチョン

• RQ1 従来型と2次ニューロンを組み合わせた異種ネットワークは、純粋な従来型または2次ネットワークよりも、特定の関数をより効率的に近似できるか？
• RQ2 2次ニューロンをオートエンコーダーアーキテクチャに統合することで、非教師付き異常検出のための表現学習が向上するか？
• RQ3 提案された異種オートエンコーダーは、複数のデータセットにおいて最先端の異常検出モデルと比較して、どのように性能を発揮するか？
• RQ4 異種オートエンコーダーは、同種オートエンコーダーと比較して、より少ないパラメータ数とFLOPsで優れた異常検出性能を達成できるか？
• RQ5 異なるHAEアーキテクチャ（例：HAE-X、HAE-Y、HAE-I）が、表現品質と検出精度に与える影響は何か？

主な発見

• HAE-Yは全データセットで平均AUCが0.796で最高となり、平均順位も2.500と2番目に良い結果を示した。
• HAE-Xは8つのデータセットのうち7つで最高の性能を示し、HAE-Yは6つで首位を記録し、一貫した優位性を示した。
• HAEはOCSVM、SUDO、DAGMMなどの最先端モデルと同等またはそれ以上のAUCスコアを達成し、特にHAE-Yは5つのデータセットでトップスコアを記録した。
• t-SNE可視化の結果、HAEの潜在空間では、異常サンプルがAEよりもより集中して分布しており、異常サンプルの分離が良好であることが示された。
• HAE-IはHAEの中での3位の成績を達成し、HAE-Yより0.6%低いAUCスコアであったが、より少ないパラメータ数とFLOPsを用いていたため、効率性の向上が確認された。
• 提案されたHAEは、標準オートエンコーダー（AE）や2次オートエンコーダー（QAE）を常に上回る性能を示し、異種ニューロン統合の有効性を裏付けた。