[論文レビュー] Predicting Adversarial Examples with High Confidence

Angus Galloway, Graham W. Taylor+1 more|arXiv (Cornell University)|Feb 13, 2018

Adversarial Robustness in Machine Learning参考文献 28被引用数 4

ひとこと要約

この論文は、過剰に自信を持つ深層学習モデルが adversarial examples に対してより脆弱であると主張し、特に低精度表現を用いた強力な正則化が、未探索の表現空間を減らすことで耐性を向上させると提案している。実証的に、1ビット重みを用いた低精度モデルは、データ拡張を用いない状況でも、フル精度モデルよりも高い自然な精度を維持し、 adversarial 攻撃に対してより強く、データ拡張を要しない耐性確保の道筋を示している。

ABSTRACT

It has been suggested that adversarial examples cause deep learning models to make incorrect predictions with high confidence. In this work, we take the opposite stance: an overly confident model is more likely to be vulnerable to adversarial examples. This work is one of the most proactive approaches taken to date, as we link robustness with non-calibrated model confidence on noisy images, providing a data-augmentation-free path forward. The adversarial examples phenomenon is most easily explained by the trend of increasing non-regularized model capacity, while the diversity and number of samples in common datasets has remained flat. Test accuracy has incorrectly been associated with true generalization performance, ignoring that training and test splits are often extremely similar in terms of the overall representation space. The transferability property of adversarial examples was previously used as evidence against overfitting arguments, a perceived random effect, but overfitting is not always random.

研究の動機と目的

• 高信頼度の予測が耐性を意味すると仮定することを挑戦し、むしろ過剰な自信が adversarial vulnerability と相関することを主張する。
• データ拡張を用いない状況で、低精度表現による正則化が耐性を向上させられるかどうかを調査する。
• 従来の正則化手法（例：重み減衰）と比較して、低精度表現がモデルの脆弱性を低減する有効性を検証する。
• RBFネットワークのような一般化しない手法に依存せずに、「だめなクラス」の入力（例：ランダムノイズ）に対して防御できるかを検証する。
• より小さいが適切に正則化されたモデルが、自然な精度を高く維持しながら、 adversarial パーティクルに対してより耐性を持つことを示す。

提案手法

• 著者らは、重み（W）、活性化（A）、勾配（G）の精度を変化させたResNet-18モデルを、1ビット、2ビット、3ビット、およびフル32ビット精度で学習した。
• ImageNet および CIFAR-10 で、FGSM 攻撃を用い、摂動の大きさを増加させた（ε = 2, 4, 8）状況で耐性を評価し、トップ1およびトップ5の誤差率を測定した。
• データ拡張を用いないことで、モデル容量と正則化の影響を明確に分離し、低精度モデルとフル精度モデル、強力なL2重み減衰を用いたモデルを比較した。
• 実験はデータ拡張を一切行わないことで、モデル容量と正則化の影響を独立して評価した。
• 意思決定境界の幾何学的性質と未探索の表現空間のエントロピーを分析し、耐性の違いを説明した。
• RBFネットワークに依存せずに、低精度モデルを用いて「無意味なクラス」の入力（例：ランダムノイズ）に対して防御した。

実験結果

リサーチクエスチョン

• RQ1 データ拡張を用いない状況で、モデルの精度を低下させることで adversarial な例に対する耐性が向上するか？
• RQ2 ランダムノイズが存在しない状況でも、深層モデルの adversarial vulnerability が過剰な自信と過学習と関連しているか？
• RQ3 従来の正則化（例：重み減衰）と比較して、低精度表現は adversarial 耐性をどのように向上させるか？
• RQ4 低精度モデルは、一般化しないアーキテクチャ（例：RBFネットワーク）に依存せずに、ランダムノイズのような非例の入力に対しても防御できるか？
• RQ5 強力な正則化としての低精度化が、未探索の表現空間をどのように減らし、耐性を向上させるか？

主な発見

• 低精度モデル（例：1ビット重み）は、データ拡張なしで、フル精度モデルよりも adversarial 攻撃下での自然なテスト精度が高く、ε=8 の FGSM 攻撃下で ImageNet でトップ1誤差率が 59.6% を示した。
• 重みの精度を1ビットに下げ、活性化を2ビットに保ったことで、ε=8 の FGSM 攻撃下でのトップ1誤差率が 59.6% から 50.2% に低下し、耐性が向上した。
• 1ビット重みと1ビット活性化を用いたモデルは、ImageNet でクリーンなトップ1精度が 96.8% を維持しながら、ε=8 の FGSM 攻撃下では誤差率が 98.4% にとどまり、強い耐性を示した。
• フル精度モデルは強い重み減衰に対して脆弱であり、L2減衰を100倍に増加させた場合、テスト精度が30%未満に低下した。
• 低精度モデルは、データ拡張なしでも、同様の脅威モデル下で最先端のモデルを上回る性能を示し、耐性が向上した。
• 結果から、低精度表現が未探索の表現空間を減らし、未探索領域のエントロピーを増加させることで、adversarial 例の成功確率が低下することが示唆された。