[論文レビュー] Gradient Masking Causes CLEVER to Overestimate Adversarial Perturbation Size

Ian Goodfellow|arXiv (Cornell University)|Apr 21, 2018

Adversarial Robustness in Machine Learning参考文献 3被引用数 20

ひとこと要約

この論文は、敵対的ロバストネスの下界を推定するために提案された CLEVER が、デジタルシステムにおける数値精度の制限によって生じる勾配マスキングのため失敗することを示している。モデルがロバストでない場合でも、CLEVER は有限精度計算に起因する非リプシッツ性を検出できないため、ロバストネスを過大評価してしまう。その結果、信頼できるロバストネス指標として機能しないことになる。

ABSTRACT

A key problem in research on adversarial examples is that vulnerability to adversarial examples is usually measured by running attack algorithms. Because the attack algorithms are not optimal, the attack algorithms are prone to overestimating the size of perturbation needed to fool the target model. In other words, the attack-based methodology provides an upper-bound on the size of a perturbation that will fool the model, but security guarantees require a lower bound. CLEVER is a proposed scoring method to estimate a lower bound. Unfortunately, an estimate of a bound is not a bound. In this report, we show that gradient masking, a common problem that causes attack methodologies to provide only a very loose upper bound, causes CLEVER to overestimate the size of perturbation needed to fool the model. In other words, CLEVER does not resolve the key problem with the attack-based methodology, because it fails to provide a lower bound.

研究の動機と目的

• CLEVER が敵対的ロバストネスの下界を信頼性を持って推定できるかどうかを調査すること。
• 有限精度計算に起因する勾配マスキングが、CLEVER の推定にどのように影響を与えるかを特定すること。
• 数値的アーティファクトによる勾配観測の誤りにより、モデルが実際にロバストでないにもかかわらず CLEVER が誤ってロバストであると結論づけること。
• 攻撃ベースの手法と同じ根本的欠陥を内包するため、CLEVER が敵対的摂動サイズの真の下界を提供できないこと。

提案手法

• 入力関数が量子化されたもの（段差関数）であるニューラルネットワークを理論的反例として提示し、勾配がほとんど至るところでゼロとなるため、CLEVER は勾配を観測できず、定数関数としての振る舞いを推測する。
• 幅 δ の線形ラムプを用いた段差関数のリプシッツ連続近似を導入し、モデルの振る舞いを保持しつつ、δ → 0 の際に勾配観測の可能性が著しく低下するようにする。
• 有限精度計算が CLEVER に与える影響を分析し、数値的飽和（例：シグモイドユニットがゼロに丸められる）が勾配をマスキングし、CLEVER がロバストネスを過大評価する原因となることを示す。
• 数値誤差によってリプシッツ連続性の仮定が破られる場合でも、CLEVER がその検出メカニズムを持たないことを示す。
• 測度論的推論を用いて、このような近似関数において CLEVER がゼロ勾配を観測する確率が非常に高いことを示し、誤ったロバストネス推定に繋がることを示す。
• CLEVER が攻撃ベースの手法と同様に勾配マスキングの問題に脆弱であるため、信頼できる下界推定器としての役割を果たせないことを主張する。

実験結果

リサーチクエスチョン

• RQ1 CLEVER は、モデルをだませるための摂動サイズの下界を信頼性を持って推定できるか？
• RQ2 有限精度計算に起因する勾配マスキングが、CLEVER のモデルロバストネス推定にどのように影響を与えるか？
• RQ3 CLEVER は、デジタルシステムにおける数値近似によって生じる非リプシッツ性を検出できないか？
• RQ4 高い真の脆弱性を持つモデルが、勾配マスキングのため CLEVER によって誤ってロバストと評価される可能性はあるか？
• RQ5 CLEVER は、攻撃ベースのロバストネス評価手法の制限をどの程度引き継いでいるか？

主な発見

• CLEVER は、真の勾配が大きい領域でゼロ勾配を観測するため、モデルが定数でないにもかかわらず、定数関数であると結論づけ、ロバストネスを過大評価する。
• 無限精度でも、段差写像のような非リプシッツ関数に対して CLEVER は失敗する。リプシッツ連続関数に近似可能であり、勾配観測確率が任意に小さくなる。
• 実際の計算では、有限精度計算により、シグモイドユニットの数値的飽和（勾配がゼロに丸められる）が生じ、CLEVER がロバストネスを誤って推定する。
• リプシッツ近似の幅 δ が小さくなると、CLEVER のサンプリングで非ゼロ勾配を観測する確率はほぼゼロに低下し、誤ったロバストネス結論に繋がる。
• CLEVER は、数値的アーティファクトによって仮定が破られる場合の検出メカニズムを持たず、高得点であっても実際のロバストネスを反映しない沈黙的障害を引き起こす。
• CLEVER が攻撃ベースの手法と同様に勾配マスキングの問題に脆弱であるため、敵対的摂動サイズの有効な下界を提供できない。