[論文レビュー] Outlier Detection through Null Space Analysis of Neural Networks

Matthew Cook, Alina Zare+1 more|arXiv (Cornell University)|Jul 2, 2020

Anomaly Detection Techniques and Applications参考文献 20被引用数 5

ひとこと要約

この論文では、重み行列の核空間を分析することで、外れ値検出をニューラルネットワークに直接統合する手法であるNull Space Analysis (NuSA) を提案する。核空間への射影の大きさを測ることで、別個のモデルを必要とせずに外れ値スコアを計算し、分類精度を維持したまま競争力ある外れ値検出性能を達成する。

ABSTRACT

Many machine learning classification systems lack competency awareness. Specifically, many systems lack the ability to identify when outliers (e.g., samples that are distinct from and not represented in the training data distribution) are being presented to the system. The ability to detect outliers is of practical significance since it can help the system behave in an reasonable way when encountering unexpected data. In prior work, outlier detection is commonly carried out in a processing pipeline that is distinct from the classification model. Thus, for a complete system that incorporates outlier detection and classification, two models must be trained, increasing the overall complexity of the approach. In this paper we use the concept of the null space to integrate an outlier detection method directly into a neural network used for classification. Our method, called Null Space Analysis (NuSA) of neural networks, works by computing and controlling the magnitude of the null space projection as data is passed through a network. Using these projections, we can then calculate a score that can differentiate between normal and abnormal data. Results are shown that indicate networks trained with NuSA retain their classification performance while also being able to detect outliers at rates similar to commonly used outlier detection algorithms.

研究の動機と目的

• ニューラルネットワークにおける意思決定の不確実性認識の欠如、特に学習データに存在しない外れ値を検出できないという問題に取り組む。
• 外れ値検出のための別個のモデルを訓練する必要をなくし、既存の分類ネットワークにその能力を埋め込むこと。
• 分類精度を高めたまま、ネットワークの内在的性質を活用して頑健な外れ値検出を実現すること。
• 核空間射影がデータの異常度を信頼できる統合的指標として機能するかどうかを評価すること。

提案手法

• この手法は、ニューラルネットワークの各全結合層の重み行列の核空間への入力データの射影を計算する。
• これらの核空間射影の大きさに基づいて外れ値スコアを定義し、値が大きいほど外れ値である可能性が高くなる。
• 標準的なバックプロパゲーションに加えて追加の訓練を必要とせず、推論時にネットワークの内部表現を用いてスコアを計算する。
• 入力データのうち、重み行列の核空間に含まれる成分はネットワークの出力に影響を与えないため、このような成分はネットワークによって本質的に検出不能である、という事実を活用する。
• 訓練中に核空間成分の大きさを制御する正則化項を導入し、意味のある信号のみが前方に伝搬されるようにする。
• この手法は順伝播型ニューラルネットワークに適用され、既知および未知のクラスを含むMNISTに類似したデータセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 訓練済みのニューラルネットワークにおける核空間射影を用いて、再訓練や外部モデルの追加なしに外れ値を検出できるか？
• RQ2 AUCおよび精度-再現率指標において、NuSAの性能は既存の外れ値検出アルゴリズムと比べてどうか？
• RQ3 核空間分析による外れ値検出の統合が、ネットワークの元の分類精度にどの程度影響を与えるか？
• RQ4 NuSAを用いる際、分類性能と外れ値検出能力の間にトレードオフが生じるか？

主な発見

• NuSAは標準的な訓練とほぼ同一の分類精度を維持しており、20回の実行における標準偏差のバーが重なり合うことから、顕著な性能劣化がないことが示された。
• ヒストグラムで分布が重複するものの、既知クラスと未知クラスの平均外れ値スコアの分離度が、いくつかのベースライン外れ値検出アルゴリズムを上回った。
• 伝統的な手法（HBOS、IForest、MCDなど）を上回る競争力ある外れ値検出性能を達成したが、AUCではABOD、KNN、LOFに劣る結果となった。
• NuSAの平均AUCは、特に5つの既知クラスを持つバランスの取れた設定（252組のテスト組み合わせ）において、最先端の手法と同等であり、優れた一般化性能を示した。
• ヒストограмの分析から、NuSAの既知クラスと未知クラスのスコアは重複しているものの、それらの平均間の距離が多くの競合手法よりも大きく、より識別性の高いスコア分布であることが示唆された。
• 核空間分析を用いた外れ値検出の分類ネットワークへの統合は可能で効果的であり、追加の訓練や推論コストをかけずに、両タスクを統合したモデルを提供する。