[論文レビュー] On the Minimal Adversarial Perturbation for Deep Neural Networks With Provable Estimation Error

Fabio Brau, Giulio Rossolini+2 more|arXiv (Cornell University)|Jan 1, 2022

Adversarial Robustness in Machine Learning参考文献 38被引用数 10

ひとこと要約

本稿では、深層ニューラルネットワークにおける最小の adversarial パーティクルの近似を、最小距離に対する理論的誤差推定理論を提供する2つの軽量なルート・ファインディング戦略を提案する。この手法により、境界近辺の近傍半径σ内での誤差を束縛でき、実験により、分類境界に近い入力では、推定された境界以下の攻撃が成功しないことが確認された。

ABSTRACT

Although Deep Neural Networks (DNNs) have shown incredible performance in perceptive and control tasks, several trustworthy issues are still open. One of the most discussed topics is the existence of adversarial perturbations, which has opened an interesting research line on provable techniques capable of quantifying the robustness of a given input. In this regard, the Euclidean distance of the input from the classification boundary denotes a well-proved robustness assessment as the minimal affordable adversarial perturbation. Unfortunately, computing such a distance is highly complex due the non-convex nature of DNNs. Despite several methods have been proposed to address this issue, to the best of our knowledge, no provable results have been presented to estimate and bound the error committed. This paper addresses this issue by proposing two lightweight strategies to find the minimal adversarial perturbation. Differently from the state-of-the-art, the proposed approach allows formulating an error estimation theory of the approximate distance with respect to the theoretical one. Finally, a substantial set of experiments is reported to evaluate the performance of the algorithms and support the theoretical findings. The obtained results show that the proposed strategies approximate the theoretical distance for samples close to the classification boundary, leading to provable robustness guarantees against any adversarial attacks.

研究の動機と目的

• 深層ニューラルネットワークにおける最小 adversarial パーティクル推定の既存手法に理論的誤差境界が欠如している問題に対処すること。
• 計算効率の良い最小 adversarial 距離の近似を構築し、証明可能なロバストネス保証を可能とすること。
• 近似距離と真の最小距離の差を定量化する解析的誤差推定理論を導出すること。
• 誤差境界が成り立つ近傍半径σの経験的推定値を求める。これにより、分類境界に近い入力に対するϵ-ロバストネスの検証が可能になる。

提案手法

• 分類境界までの距離を求めるために、分類境界に最も近い点を求める「Closest Boundary (CB)」および二分法を用いる「Bisection Method (BM)」の2つのルート・ファインディング戦略を提案する。
• 分類器の一次および二次微分に基づく新しい正則性係数を導入し、意思決定境界の線形性を定量化し、近傍半径σを定義する。
• 半径σのチューブ状近傍内において、近似距離t(x,l)と真の最小距離d(x,l)の間の理論的誤差境界を導出する。
• 4つのデータセット（MNIST, FMNIST, CIFAR10, GTSRB）において、近似距離の妥当性を検証するため、グローバルサーチ法（Interior Point技術）を基準として用いる。
• PGD, FGM, DF, DDN などの攻撃を用いて、t(x)/ρ∗未満の攻撃が成功しない最大距離σ∗を経験的に推定する。
• t(x)/ρ∗を adversarial パーティクルの大きさの下限として適用し、推定されたσ∗近傍内では、いかなる攻撃もその下限未満では成功しないことを検証する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおける近似最小 adversarial パーティクル計算に対して、理論的誤差境界を提供できるか？
• RQ2 近似距離と真の最小距離の誤差が証明可能に束縛される、意思決定境界周辺の近傍のサイズはどの程度か？
• RQ3 誤差が束縛される近傍半径σをどの程度正確に推定できるか？
• RQ4 提案手法を用いることで、近似距離と証明可能な誤差境界のみを用いて、分類境界に近い入力に対するϵ-ロバストネスを検証できるか？

主な発見

• 提案されたCBおよび二分法は、特に分類境界に近い入力に対して、真の最小 adversarial 距離を証明可能な誤差境界を伴って近似可能である。
• 理論的誤差境界は、分類器の正則性係数（一次および二次微分に基づく）によって定義される半径σのチューブ状近傍内で成り立つ。
• σ∗の経験的推定値は妥当性を確認された：MNISTおよびGTSRBでは、σ∗内に存在する入力に対して、t(x)/ρ∗未満の攻撃はすべて失敗し、理論的境界が正当化された。
• FMNISTおよびCIFAR10では、σ∗の推定がやや不正確であり、それぞれ1例ずつ、t(x)/ρ∗未満の攻撃が成功した。これは、経験的σ∗推定の一般化能力の限界を示している。
• 本手法により、効率的なϵ-ロバストネス検証が可能となった：t(x)/ρ∗を下限として用いることで、その大きさ未満の攻撃は成功しないことが保証され、証明可能なロバストネス保証が得られた。
• 結果から、提案手法は、推定されたt(x)/ρ∗で境界づけられた任意の adversarial 攻撃に対して、特に推定されたσ∗近傍内に存在する入力に対して、証明可能なロバストネスを提供することが示された。