[論文レビュー] DROCC: Deep Robust One-Class Classification

Sachin Goyal, Aditi Raghunathan+3 more|arXiv (Cornell University)|Feb 28, 2020

Anomaly Detection Techniques and Applications参考文献 37被引用数 7

ひとこと要約

DROCCは、正常データが低次元で局所線形な多様体上にあるとモデル化する深層頑健な1クラス分類手法を提案する。勾配降下・勾配上昇の訓練方式を用いることで表現崩壊を回避する。画像、表形式データ、音声、時系列データの複数のデータセットにおいて、SOTA性能を達成し、特に限られた負例データでのOOD一般化設定において、異常検出精度を最大20%向上する。

ABSTRACT

Classical approaches for one-class problems such as one-class SVM and isolation forest require careful feature engineering when applied to structured domains like images. State-of-the-art methods aim to leverage deep learning to learn appropriate features via two main approaches. The first approach based on predicting transformations (Golan & El-Yaniv, 2018; Hendrycks et al., 2019a) while successful in some domains, crucially depends on an appropriate domain-specific set of transformations that are hard to obtain in general. The second approach of minimizing a classical one-class loss on the learned final layer representations, e.g., DeepSVDD (Ruff et al., 2018) suffers from the fundamental drawback of representation collapse. In this work, we propose Deep Robust One-Class Classification (DROCC) that is both applicable to most standard domains without requiring any side-information and robust to representation collapse. DROCC is based on the assumption that the points from the class of interest lie on a well-sampled, locally linear low dimensional manifold. Empirical evaluation demonstrates that DROCC is highly effective in two different one-class problem settings and on a range of real-world datasets across different domains: tabular data, images (CIFAR and ImageNet), audio, and time-series, offering up to 20% increase in accuracy over the state-of-the-art in anomaly detection. Code is available at https://github.com/microsoft/EdgeML.

研究の動機と目的

• DeepSVDDのような手法の主な制限要因である表現崩壊を解消する。
• ドメイン固有の変換や補助情報なしに、画像、表形式データ、音声、時系列データなど多様な分野で有効な手法を開発する。
• 限られた負例データの状況下でも、分布外（OOD）および近い負例（close-negative）に対して一般化性能を向上させる。
• 少数の負例しか利用できない状況でも、正例クラスを well-sampled な低次元多様体としてモデル化することで、頑健な1クラス学習を可能にする。

提案手法

• DROCCは、正常データが低次元で局所線形な多様体上にあるとモデル化し、潜在空間におけるユークリッド距離を用いて異常を検出する。
• 訓練を鞍点問題として定式化：正常点に対して勾配降下、合成的に生成された異常点に対して勾配上昇を実行する。
• 異常点は、分類器損失の勾配上昇により訓練中に適応的に生成され、挑戦的なOOD例をシミュレートする。
• 深層ニューラルネットワークを用いて表現を学習し、その後、正常点と敵対的に生成された異常点を区別する分類器を適用する。
• OCLN（限られた負例を伴う1クラス分類）設定では、DROCC–LFが内在的なデータ構造をよりよく捉えるために、学習可能な歪んだ距離関数を導入する。
• 最適化には標準的な確率的勾配降下・上昇を用い、計算効率を向上させるために簡略化された射影集合を導入する。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックな制約に依存せずに、表現崩壊に頑健な深層1クラス分類器を構築できるか？
• RQ2 少数の負例しか利用できない状況でも、OODおよび近い負例に対して効果的に一般化できるか？
• RQ3 正常データを低次元多様体としてモデル化することで、多様なデータタイプにわたる1クラス分類における一般化性能が向上するか？
• RQ4 訓練中に異常点を敵対的に生成することで、異常検出の頑健性と精度が向上するか？
• RQ5 「目覚めのワード検出」のような現実世界の設定（挑戦的なOOD入力あり）において、DROCCはSOTA手法と比較してどのように性能を発揮するか？

主な発見

• CIFAR-10、ImageNet、音声コマンドなど複数のデータセットにおいて、SOTA手法と比較して最大20%の異常検出精度向上を達成した。
• MNIST 0 vs. 1 異常検出タスクでは、DROCC–LFが3%の偽陽性率（FPR）で99.4%の再現率を達成し、DeepSAD（90.91%）やBCE（54%）を上回った。
• 音声コマンドのOCLN設定では、3%および5%のFPRでベースライン比約10%の再現率向上を達成し、特に「Marvin」や「Seven」などのキーワードで顕著だった。
• 10次元のサイン波＋ガウス分布データセットでは、DROCC–LFは真の2次元多様体を正しく特定したが、標準DROCCはノイズの影響で失敗した。これは、学習可能な距離関数の利点を示している。
• DROCC–LFは、訓練時に見られなかった手動で合成された近い負例（例：「Mar」、「Vin」、「Marvelous」）の音声サンプルに対しても良好に一般化でき、OOD変動に対する頑健性を実証した。
• すべての点を1つの点にマッピングしてしまうと、正常点と敵対的に生成された異常点を区別できなくなるため、DROCCは表現崩壊を回避する。