[論文レビュー] Runtime Monitoring Neuron Activation Patterns

Chih‐Hong Cheng, Georg Nührenberg+1 more|arXiv (Cornell University)|Sep 18, 2018

Adversarial Robustness in Machine Learning参考文献 10被引用数 7

ひとこと要約

本論文は、ニューラルネットワークのニューロン活性化パターンのランタイムモニタリングを提案し、訓練分布外の意思決定を検出する。訓練データからのReLUベースの活性化パターンをBDDを用いて保存し、リアルタイム入力に対してハミング距離に基づく抽象化と照合することで、誤検出が少なく、信頼性の低い予測を特定する。GTSRBでは、誤分類の最大54.54％を検出可能であり、運用オーバーヘッドは最小限に抑えられる。

ABSTRACT

For using neural networks in safety critical domains, it is important to know if a decision made by a neural network is supported by prior similarities in training. We propose runtime neuron activation pattern monitoring - after the standard training process, one creates a monitor by feeding the training data to the network again in order to store the neuron activation patterns in abstract form. In operation, a classification decision over an input is further supplemented by examining if a pattern similar (measured by Hamming distance) to the generated pattern is contained in the monitor. If the monitor does not contain any pattern similar to the generated pattern, it raises a warning that the decision is not based on the training data. Our experiments show that, by adjusting the similarity-threshold for activation patterns, the monitors can report a significant portion of misclassfications to be not supported by training with a small false-positive rate, when evaluated on a test set.

研究の動機と目的

• 自律走行などの安全が重要なシステムにおいて、ニューラルネットワークが訓練分布外の意思決定を行うのを検出する課題に対処すること。
• 確率的保証に依存せず、形式的かつ整合的な方法で「分布外」の入力を検出すること。
• 出力に近い層におけるハイレベル特徴パターンのモニタリングを通じて、ニューラルネットワーク意思決定のランタイム検証を可能にすること。
• 抽象化の粗さをバランスさせることで、監視がなりすぎず、かつあまりに寛容すぎないよう調整し、実用的価値を確保すること。
• センサーフュージョンや意思決定の信頼性のための信頼信号として、監視モジュールを実世界のシステムに統合すること。

提案手法

• 訓練後、ネットワークはすべての正しく分類された訓練データを処理し、ハイレベル層におけるReLUのオンオフ活性化パターンを記録する。
• 活性化パターンは、効率的な記号的扱いが可能なバイナリ意思決定図（BDD）を用いて抽象化され、保存される。
• 存在記号による量子化を用いて監視を拡張し、既知のパターンからある設定可能なハミング距離（γ）以内のパターンを含める。これにより一般化が可能になる。
• 勾配に基づく感度分析により、最も重要なニューロンのみを特定・監視することで、BDDの変数数を削減し、スケーラビリティを向上させる。
• 検証セットを用いて、ハミング距離のしきい値（γ）を調整し、パターン外の検出と誤分類の相関が強くとれるようにする。
• 推論時、現在の活性化パターンが抽象化されたパターン空間内にあるかを監視モジュールが確認する。もしそうでなければ、信頼性の欠如を示す警告を発出する。

実験結果

リサーチクエスチョン

• RQ1 訓練時には観測されていなかった活性化パターンに基づいてニューラルネットワークが意思決定を行う場合に、それを検出できるか？
• RQ2 監視の抽象化の粗さをどのように調整すれば、誤検出が多すぎず、かつ見逃しが少なすぎるようにできるか？
• RQ3 ハミング距離に基づく一般化を施したBDDベースの監視は、誤検出率を低く抑えつつ、誤分類をどの程度検出できるか？
• RQ4 この手法は、自律走行車両の認識など、実世界の安全が重要なシステムに適用可能か？
• RQ5 異なるデータセットやネットワークアーキテクチャにおいて、監視モジュールの性能はどのように変化するか？

主な発見

• MNISTデータセット（γ=2）では、パターン外の入力を99.4％検出し、そのうち31.66％を誤分類の可能性があると警告したが、誤検出は0.6％にとどまった。
• GTSRBベンチマーク（γ=3）では、4.58％の処理で問題を検出し、そのうち54.54％が誤分類として正しく特定された。
• GTSRBでは95.42％の処理で監視モジュールが沈黙したが、高い検出能力にもかかわらず、運用への干渉は最小限であった。
• 訓練データパターンの音声的過近似を達成しており、警告が発出された場合、すべてが真正に未知の活性化パターンに対応していた。
• 勾配に基づくニューロン選択の活用によりBDDの複雑さが低減され、数百のニューロンを持つ大規模ネットワークへのスケーラビリティが実現された。
• 本手法はYOLOのようなオブジェクト検出ネットワークにも適用可能であり、より洗練された抽象ドメイン（差分束集合など）を用いることで拡張可能である。