[論文レビュー] Input Validation for Neural Networks via Runtime Local Robustness Verification

Jiangchao Liu, Liqian Chen+2 more|arXiv (Cornell University)|Feb 9, 2020

Adversarial Robustness in Machine Learning参考文献 40被引用数 9

ひとこと要約

本稿では、正しく分類された入力が誤分類または adversarial な例よりも顕著に大きなロバストネス半径を示すという観察を基に、実行時におけるニューラルネットワークの入力検証にローカルロバストネス検証を活用することを提案する。しきい値を設定するか、ロバストネス半径を正規分布としてモデル化することで、モデルの精度を向上させるとともに、特に強力な攻撃に対しても防御可能となる。

ABSTRACT

Local robustness verification can verify that a neural network is robust wrt. any perturbation to a specific input within a certain distance. We call this distance Robustness Radius. We observe that the robustness radii of correctly classified inputs are much larger than that of misclassified inputs which include adversarial examples, especially those from strong adversarial attacks. Another observation is that the robustness radii of correctly classified inputs often follow a normal distribution. Based on these two observations, we propose to validate inputs for neural networks via runtime local robustness verification. Experiments show that our approach can protect neural networks from adversarial examples and improve their accuracies.

研究の動機と目的

• 安全性が求められるアプリケーションで深刻な障害を引き起こす可能性があるニューラルネットワークの adversarial な例に対する脆弱性を是正すること。
• ロバストネス半径が、有効な入力と adversarial または自然に誤分類された入力を区別するための信頼できる指標として機能するかどうかを検討すること。
• グローバル検証やオラクルアクセスを必要としない、ローカルロバストネス検証に基づく実用的な実行時入力検証技術を開発すること。
• 推論時における低ロバストネス半径の入力をフィルタリングすることで、ニューラルネットワークのロバストネスと精度を向上させること。

提案手法

• 本手法は、ローカルロバストネス検証を用いて入力のロバストネス半径を計算し、ネットワークの予測が変化しない最大の摂動サイズを測定する。
• 有効な入力は adversarial または自然に誤分類された入力よりもはるかに大きなロバストネス半径を示すという経験的観察を活用する。
• しきい値ベースの検証手法を提案し、ユーザーが定義したしきい値未満のロバストネス半径を持つ入力を、潜在的な adversarial または破損した入力として拒否する。
• 分布ベースの検証手法を導入し、クリーンな入力のロバストネス半径を正規分布としてモデル化し、外れ値を疑わしいものとして特定する。
• 大規模なネットワークにスケーラブルな近似ロバストネス検証技術を活用し、リアルタイムでの推論時チェックを可能にする。
• 再訓練やアーキテクチャの変更を必要としないため、後処理防御として適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ロバストネス半径は、有効な入力、自然に誤分類された入力、adversarial な例の間で信頼できる識別子として機能できるか？
• RQ2 正しく分類された入力のロバストネス半径は、正規分布のような一貫した統計的分布に従うか？
• RQ3 ローカルロバストネス検証は、推論時に効果的に入力を検証し、モデルの精度を向上させるために使用可能か？
• RQ4 提案手法は、特に white-box および black-box の設定からの強力な adversarial 攻撃に対してどの程度効果的か？

主な発見

• 特に強力な攻撃からのものであるが、有効な入力は adversarial な例や自然に誤分類された入力と比べて顕著に大きなロバストネス半径を示す。
• 正しく分類された入力のロバストネス半径はしばしば正規分布に従い、検出のための統計的モデリングが可能になる。
• しきい値ベースの検証手法は、低ロバストネス半径の入力をフィルタリングすることで、誤分類を低減し、ニューラルネットワークの精度を向上させる。
• 分布ベースの手法は、外れ値のロバストネス半径を持つ入力を特定することで、連続的または進化する攻撃を効果的に検出できる。
• 提案手法は、white-box および black-box の両設定からの強力な adversarial 攻撃に対しても効果的であり、既存の検出技術を上回るか同等の性能を示す。
• 本手法は実用的かつスケーラブルであり、再訓練やアーキテクチャの変更なしにリアルタイムでの入力検証を可能にする。