[論文レビュー] PROVEN: Certifying Robustness of Neural Networks with a Probabilistic Approach

Tsui-Wei Weng, Pin‐Yu Chen+4 more|arXiv (Cornell University)|Dec 18, 2018

Adversarial Robustness in Machine Learning参考文献 33被引用数 5

ひとこと要約

PROVENは、既知の分布を持つ入力ノイズ下でのニューラルネットワークのロバストネスを証明する確率的フレームワークを導入し、最も悪い場合のロバストネス検証を統計的保証へと拡張する。CROWNなどの既存の保証下限を活用することで、99.99%の信頼水準で最大75%高いロバストネス証明が達成され、最も悪い場合の分析に比べ顕著に向上する。

ABSTRACT

With deep neural networks providing state-of-the-art machine learning models for numerous machine learning tasks, quantifying the robustness of these models has become an important area of research. However, most of the research literature merely focuses on the extit{worst-case} setting where the input of the neural network is perturbed with noises that are constrained within an $\ell_p$ ball; and several algorithms have been proposed to compute certified lower bounds of minimum adversarial distortion based on such worst-case analysis. In this paper, we address these limitations and extend the approach to a extit{probabilistic} setting where the additive noises can follow a given distributional characterization. We propose a novel probabilistic framework PROVEN to PRObabilistically VErify Neural networks with statistical guarantees -- i.e., PROVEN certifies the probability that the classifier's top-1 prediction cannot be altered under any constrained $\ell_p$ norm perturbation to a given input. Importantly, we show that it is possible to derive closed-form probabilistic certificates based on current state-of-the-art neural network robustness verification frameworks. Hence, the probabilistic certificates provided by PROVEN come naturally and with almost no overhead when obtaining the worst-case certified lower bounds from existing methods such as Fast-Lin, CROWN and CNN-Cert. Experiments on small and large MNIST and CIFAR neural network models demonstrate our probabilistic approach can achieve up to around $75\%$ improvement in the robustness certification with at least a $99.99\%$ confidence compared with the worst-case robustness certificate delivered by CROWN.

研究の動機と目的

• ニューラルネットワークにおける最も悪い場合のロバストネス証明の限界を克服するため、既知の入力ノイズ分布を考慮する確率的フレームワークを導入すること。
• 最悪の場合の境界に依存せず、ℓpノルム内での摂動に対してモデルの予測が変化しない確率に関する統計的保証を提供すること。
• ReLUやその他の活性化関数を備えた全結合および畳み込みニューラルネットワークに対し、実用的でスケーラブルなロバストネス証明を可能にすること。
• CROWN や Fast-Lin などの既存の検証フレームワークを活用して、最小限の計算コストで確率的ロバストネス証明を導出できることを示すこと。
• 構造的ノイズを伴う現実世界の設定において、確率的ロバストネス証明が最も悪い場合の分析に比べて顕著に強力なロバストネス保証を提供できることを示すこと。

提案手法

• PROVENは、ロバストネス証明問題を、摂動下での真のクラスと次に確率が高かったクラスとのマージンが正のまま保たれる確率を計算する問題として定式化する。
• 摂動の累積分布関数（CDF）を用いて、マージンがしきい値を超える確率を計算し、統計的ロバストネス保証を可能にする。
• 既存の最悪ケース検証ツール（例：CROWN）から得られる保証下限を活用して、マージン関数の線形近似に基づく閉形式の確率的証明を導出する。
• 中心極限定理と集中不等式を適用して、ノイズが既知の分布に従うと仮定した場合に、モデルがランダムなノイズ下でもロバストである確率を推定する。
• 最先端の検証ツール（例：Fast-Lin, CROWN, CNN-Cert）とシームレスに統合され、それらの保証下限を再利用することで、追加計算コストを最小限に抑えて確率的ロバストネスを計算する。
• 統計的妥当性を保証するため、ロバストネスの確率の理論的上限γUと下限γLを計算する。

実験結果

リサーチクエスチョン

• RQ1 摂動が既知の確率分布に従う場合に、最悪の場合の敵対的摂動を仮定するのではなく、ニューラルネットワークのロバストネスに関する統計的保証を提供できるか？
• RQ2 最悪の場合の分析から確率的ロバストネス分析に移行することで、ロバストネス証明にどの程度の向上が得られるか？
• RQ3 既存の最悪ケース検証手法から得られる保証下限を活用して、最小限の計算コストで確率的ロバストネス証明を効率的に導出できるか？
• RQ4 MNIST や CIFAR-10 といった現実世界のモデルに対して、確率的アプローチが異なるアーキテクチャーや活性化関数を用いて、どの程度ロバストネス証明を向上させるか？
• RQ5 多様なニューラルネットワーク構成やノイズ分布に対して、確率的ロバストネス証明の信頼水準と統計的信頼性はどの程度か？

主な発見

• MNIST および CIFAR-10 モデルを評価した結果、PROVENはCROWNなどの最悪ケース手法に比べ、99.99%以上の信頼水準で最大75%高いロバストネス証明を達成した。
• ReLU活性化関数を備えたMNISTモデルでは、最悪ケース平均の認証ロバストネス半径が0.0258から0.0373に向上し、平均で44.7%の改善が得られた。
• ReLU活性化関数を備えたより大きなCIFAR-10モデルでは、認証半径が0.00222から0.00263に向上し、18.06%の改善が得られ、高い信頼性と低い分散を示した。
• モンテカルロサンプル数の増加に伴い、確率的証明は安定し、収束する。MNIST ReLUモデルでは、サンプル数が10個のとき標準偏差が0.00165から、100個のとき0.00054に低下した。
• 異なる活性化関数（ReLU, tanh, arctan）およびネットワークの深さに対して一貫してロバストネス証明が向上し、広範な適用可能性を示した。
• CROWN や Fast-Lin などの既存ツールから得られる保証下限を再利用するため、追加計算コストはほとんどかからず、確率的証明が可能となった。