[論文レビュー] Subset Scanning Over Neural Network Activations

Skyler Speakman, Srihari Sridharan+3 more|arXiv (Cornell University)|Oct 19, 2018

Adversarial Robustness in Machine Learning参考文献 27被引用数 5

ひとこと要約

この論文は、再訓練やアーキテクチャの変更なしに、敵対的入力（例： adversarial examples）を検出するため、ニューラルネットワークの活性化からサブセットスキャンを導入する。非パラメトリックなスキャン統計を用いて、対数線形時間でノード活性化の最も異常なサブセットを特定することで、異常度を定量化し、CIFAR-10画像における摂動を検出する。また、浅い層の異常な活性化が、より深い層における真の特徴表現を抑制する干渉パターンを明らかにする。

ABSTRACT

This work views neural networks as data generating systems and applies anomalous pattern detection techniques on that data in order to detect when a network is processing an anomalous input. Detecting anomalies is a critical component for multiple machine learning problems including detecting adversarial noise. More broadly, this work is a step towards giving neural networks the ability to recognize an out-of-distribution sample. This is the first work to introduce "Subset Scanning" methods from the anomalous pattern detection domain to the task of detecting anomalous input of neural networks. Subset scanning treats the detection problem as a search for the most anomalous subset of node activations (i.e., highest scoring subset according to non-parametric scan statistics). Mathematical properties of these scoring functions allow the search to be completed in log-linear rather than exponential time while still guaranteeing the most anomalous subset of nodes in the network is identified for a given input. Quantitative results for detecting and characterizing adversarial noise are provided for CIFAR-10 images on a simple convolutional neural network. We observe an "interference" pattern where anomalous activations in shallow layers suppress the activation structure of the original image in deeper layers.

研究の動機と目的

• 再訓練やアーキテクチャの変更なしに、事前学習済みニューラルネットワークが分布外または敵対的入力を検出できるようにすること。
• 正常な入力のバックグラウンド分布を基準として、活性化空間における偏差を測定することで、入力データの異常度を定量化すること。
• スケーラブルで正確なノードサブセットの探索を用いて、ニューラルネットワークの活性化における異常パターンを検出・特徴化すること。
• ノードレベルでの異常局在により、敵対的ノイズが通常の特徴表現にどのように影響を与えるかを説明可能な形で明らかにすること。
• 制約付き探索空間や敵対的検出を超えた幅広い応用にまで拡張可能なサブセットスキャンの基盤を構築すること。

提案手法

• テスト入力の活性化パターンと正常入力のバックグラウンド集合からのパターンとの間の乖離を測定するために、非パラメトリックなスキャン統計を適用する。
• 線形時間のサブセットスキャン特性を活用し、Jノードのネットワークにおいてすべての2^J個の可能なサブセットから、最も異常なノードサブセットを効率的に特定する。
• 帰無仮説（正常性）の下で期待されるバックグラウンドカウントと観測された活性化カウントの尤度比に基づいて、異常度スコアを定義する。
• バックグラウンド入力から導かれるしきい値と最高のサブセットスコアを比較することで検出を実行し、教師なし異常検知を可能にする。
• 異常を特徴付けるために、最高スコアのサブセットに寄与する特定のノードと層を同定することで、解釈可能性を実現する。
• ドメイン知識（例：特定の層を優先する）を反映するために、スコア関数にソフト制約を導入する。

実験結果

リサーチクエスチョン

• RQ1 サブセットスキャンをニューラルネットワークの活性化に適用することで、再訓練なしに完全に教師なしで敵対的入力を検出可能か？
• RQ2 高次元の活性化空間において、サブセットスキャンが最も異常なノードサブセットをどれほど効果的に特定できるか？
• RQ3 敵対的ノイズが存在する際、特にレイヤーごとの活性化の破壊に関して、ネットワーク内でどのような構造的パターンが現れるか？
• RQ4 この手法が、敵対的ノイズが通常の特徴表現にどのように干渉するかを説明可能なメカニズムとして明らかにできるか？
• RQ5 制約なしのサブセット探索を超えて、検出性能を向上させるために、サブセットスキャンをどのように拡張できるか？

主な発見

• 96,800ノードを有する事前学習済み畳み込みニューラルネットワークを用いて、CIFAR-10画像における敵対的摂動を効果的に検出できた。
• サブセットスキャンは、近似を用いず、すべての2^J個のサブセットに対する正確な探索を対数線形時間で実現できる。
• 浅い層の異常な活性化が、より深い層における元の画像の正常な活性化構造を抑制する干渉パターンが観察された。
• 最高スコアのサブセットは、一貫して初期の畳み込み層およびプーリング層に位置しており、敵対的ノイズの主な標的であることが示された。
• サブセットスコアは、敵対的摂動の存在と相関する、単一の解釈可能な実数値の異常度スコアを提供する。
• ノードレベルでの異常局在により、説明可能なAIを実現し、敵対的ノイズが特徴学習にどのように、どこで干渉するかの洞察を提供する。