[論文レビュー] Anomaly Detection with Domain Adaptation

Ziyi Yang, Iman Soltani+1 more|arXiv (Cornell University)|Jun 5, 2020

Anomaly Detection Techniques and Applications参考文献 33被引用数 11

ひとこと要約

本稿では、共有エンコーダーとドメイン固有のエンコーダー・ジェネレータを用いた敵対的訓練によりドメイン不変特徴を学習する、半教師あり異常検出のためのドメイン適応手法である不変表現異常検出（IRAD）を提案する。Office-Homeでベースラインを最大10%上回り、誤差と一般化に関する理論的境界を通じて強力な一般化性能を達成する。

ABSTRACT

We study the problem of semi-supervised anomaly detection with domain adaptation. Given a set of normal data from a source domain and a limited amount of normal examples from a target domain, the goal is to have a well-performing anomaly detector in the target domain. We propose the Invariant Representation Anomaly Detection (IRAD) to solve this problem where we first learn to extract a domain-invariant representation. The extraction is achieved by an across-domain encoder trained together with source-specific encoders and generators by adversarial learning. An anomaly detector is then trained using the learnt representations. We evaluate IRAD extensively on digits images datasets (MNIST, USPS and SVHN) and object recognition datasets (Office-Home). Experimental results show that IRAD outperforms baseline models by a wide margin across different datasets. We derive a theoretical lower bound for the joint error that explains the performance decay from overtraining and also an upper bound for the generalization error.

研究の動機と目的

• ターゲットドメインに限られた正常データしか利用できない状況における半教師あり異常検出の課題に対処すること。
• 豊富な正常データを有するソースドメインから、正常例が乏しいターゲットドメインへ異常検出知識を効果的に転送できることを実現すること。
• 限られたターゲットデータによる過学習を回避しながら、未観測の異常に対しても良好な一般化性能を発揮する手法の開発。
• 過学習による性能低下を説明し、モデル設計を支援するため、誤差と一般化の統合的境界の理論的分析。

提案手法

• ソースドメインおよびターゲットドメインの両方のデータからドメイン不変表現を抽出する共有エンコーダーを訓練する。
• ソース固有のエンコーダー、ジェネレータ、およびディスクラミネーターを用いた敵対的訓練により、共有特徴とドメイン固有特徴を分離する。
• 潜在空間における類似性目的関数（式4）を用いて、ソースドメインとターゲットドメインの表現間の類似性を強制する。
• 特徴再構成中の構造的整合性を保つために、サイクル整合性損失（式2）を適用する。
• 敵対的目的関数にランダムノイズ入力（$\bm{x}_{rnd}$）を導入し、ディスクラミネーターの正則化と意思決定境界の学習を改善する。
• 共有表現上で事前定義された異常検出器（分離木）を訓練し、ターゲットドメインにおける最終的な異常スコアリングを実行する。

実験結果

リサーチクエスチョン

• RQ1 限られたターゲットドメインデータと豊富なソースドメインデータから、効果的にドメイン不変表現を学習できるか。その結果、異常検出性能が向上するか。
• RQ2 共有特徴とドメイン固有特徴の敵対的分離が、ドメインシフト下での異常検出における一般化性能に与える影響は何か。
• RQ3 サイクル整合性と類似性正則化が、ターゲットドメインにおける正常と異常特徴の分離に与える影響は何か。
• RQ4 過学習がドメイン適応型異常検出における誤差と一般化性能の統合的性能に与える影響は何か。
• RQ5 この設定において、表現不変性とモデル一般化の間のトレードオフを説明する理論的境界は何か。

主な発見

• IRADは、Office-HomeのProduct → Clip Artベンチマークで、最先端のベースラインを最大10%上回り、顕著な性能向上を示した。
• デジタルデータセット（MNIST → USPS, SVHN）においても、IRADはベースラインを一貫して上回り、特にターゲットドメインの訓練データが限られた状況で顕著な改善を示した。
• 除去実験では、サイクル整合性損失を削除すると性能が10%以上低下し、特徴の分離に果たすその重要性が確認された。
• 敵対的訓練におけるランダムノイズ項（$\bm{x}_{rnd}$）の欠如は、正常と異常特徴の混合を引き起こし、検出性能の低下を招いた。
• 類似性目的関数（式4）は、主成分分析（PCA）のプロットと内積の大きさから、潜在空間におけるソースドメインとターゲットドメインの表現の有効な整合性を示した。
• 理論的分析により、誤差の下界と一般化誤差の上界が特定され、過学習による性能低下の理由が説明され、モデル最適化の指針が得られた。