[論文レビュー] Outside the Box: Abstraction-Based Monitoring of Neural Networks

Thomas A. Henzinger, Anna Lukina+1 more|KOPS (University of Konstanz)|Nov 20, 2019

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文は、トレーニング中に観測されたニューロン値の過近似としての区間ベースの「ボックス」を用いて、隠れ層の活性化を分析することにより、ニューラルネットワーク分類器における新規入力を検出する抽象化ベースのランタイム監視フレームワークを提案する。この手法は、誤検出と真の新規入力の検出の間で調整可能なトレードオフを実現し、画像分類ベンチマークにおいて、ボールやオクタゴンといった他の抽象化手法と比較して、検出精度と計算効率の両面で優れた性能を発揮する。

ABSTRACT

Neural networks have demonstrated unmatched performance in a range of classification tasks. Despite numerous efforts of the research community, novelty detection remains one of the significant limitations of neural networks. The ability to identify previously unseen inputs as novel is crucial for our understanding of the decisions made by neural networks. At runtime, inputs not falling into any of the categories learned during training cannot be classified correctly by the neural network. Existing approaches treat the neural network as a black box and try to detect novel inputs based on the confidence of the output predictions. However, neural networks are not trained to reduce their confidence for novel inputs, which limits the effectiveness of these approaches. We propose a framework to monitor a neural network by observing the hidden layers. We employ a common abstraction from program analysis - boxes - to identify novel behaviors in the monitored layers, i.e., inputs that cause behaviors outside the box. For each neuron, the boxes range over the values seen in training. The framework is efficient and flexible to achieve a desired trade-off between raising false warnings and detecting novel inputs. We illustrate the performance and the robustness to variability in the unknown classes on popular image-classification benchmarks.

研究の動機と目的

• 未知のクラスからの入力を認識して拒否する必要があるニューラルネットワーク分類器における新規性検出という、重要な課題に対処すること。
• ブラックボックスの信頼度ベースの手法の限界を克服すること。これらの手法は、新規入力に対して予測信頼度を低下させない。
• 既存のニューラルネットワークパイプラインにスムーズに統合できる、軽量で効率的かつ柔軟なランタイム監視システムの開発。
• 自動運転車などの安全が重要なアプリケーションで、異常または分布外の入力を早期に検出することで、信頼性の高い推論を実現すること。
• さまざまなニューラルネットワークアーキテクチャーやデータセットに適用可能な汎用的ソリューションの提供。

提案手法

• フレームワークは、特に出力に近い層を対象とし、クラス固有の特徴パターンが最も顕著に現れる隠れ層を監視する。
• 各ニューロンについて、トレーニング中に観測された活性化の範囲を過近似する区間の集合として、ボックス抽象化を構築する。
• 推論時、与えられた入力の活性化ベクトルが事前に計算されたボックス抽象化内にあるかどうかをチェックする。もし内側にない場合は、その入力がおそらく新規であるとマークする。
• ボックスのサイズをスケーリング（要因γを用いて）することで、感度を調整可能であり、誤検出と真の新規入力の検出の間のトレードオフを実現できる。
• 計算が非常に効率的であり、各層あたり線形時間のチェックで済むため、リアルタイムでの展開に適している。
• ボールやオクタゴンといった代替抽象化も比較のために評価され、ボックス抽象化が両方の指標（精度と速度）で優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 隠れ層活性化のボックス抽象化は、ニューラルネットワーク分類器における分布外入力を効果的に検出できるか？
• RQ2 ボールやオクタゴンといった他の抽象化タイプと比較して、ボックスベースの監視の検出精度と計算コストの両面で、性能にどのような差が生じるか？
• RQ3 このフレームワークは、誤検出率と新規入力検出のバランスをどの程度調整可能か？
• RQ4 最終層だけでなく複数の層を監視することで、最終層のみを監視する場合よりも新規性検出が向上するか？
• RQ5 異なる数の既知クラスと未知クラスを持つ多様な画像分類ベンチマークに、このフレームワークを効果的に適用できるか？

主な発見

• 既知クラスが多数あるデータセットでは最終層のみを監視するだけで強力な新規性検出性能を達成するが、既知クラスが少ないデータセットでは複数の層を組み合わせることで検出性能が顕著に向上する。
• ボールやオクタゴン抽象化と比較して、ボックス抽象化は優れた検出性能を発揮し、より多くの真の新規入力を検出しながら、誤警告の数を少なくしている。
• ボックスベースの監視の計算コストはMNISTベンチマークで2秒にとどまるのに対し、オクタゴンベースでは121秒に達するため、その効率性が明確に示された。
• ボックスを要因γで一様に拡大することで、フレームワークは望ましい誤検出率に調整可能であり、MNISTベンチマークではγ = 0.09で誤検出を完全に排除できることが分かった。
• 既知クラスの数が少ない場合でも、この手法は高い検出能力を維持し、このような状況下で単一層監視を上回る性能を発揮する。
• 複数のベンチマークで既知クラスと未知クラスの分布がバランスしている状況でも、フレームワークの性能は変動に強く、ロバストであることが示された。