[論文レビュー] ResNets Ensemble via the Feynman-Kac Formalism to Improve Natural and Robust Accuracies

Bao Wang, Binjie Yuan+2 more|arXiv (Cornell University)|Nov 26, 2018

Adversarial Robustness in Machine Learning被引用数 32

ひとこと要約

本稿では、残差マッピングにガウスノイズを注入し、共同で訓練されたモデルの予測を平均化することで、自然な精度とロバスト精度の両方を向上させる、新しいResNetアンサンブル手法を提案する。フェインマン＝カック形式にインspiredされ、移流拡散方程式の解を近似する。CIFAR-10においてIFGSM-20攻撃下で85.62%の自然精度と57.94%のロバスト精度を達成し、最先端の防御手法を上回る。

ABSTRACT

Empirical adversarial risk minimization (EARM) is a widely used mathematical framework to robustly train deep neural nets (DNNs) that are resistant to adversarial attacks. However, both natural and robust accuracies, in classifying clean and adversarial images, respectively, of the trained robust models are far from satisfactory. In this work, we unify the theory of optimal control of transport equations with the practice of training and testing of ResNets. Based on this unified viewpoint, we propose a simple yet effective ResNets ensemble algorithm to boost the accuracy of the robustly trained model on both clean and adversarial images. The proposed algorithm consists of two components: First, we modify the base ResNets by injecting a variance specified Gaussian noise to the output of each residual mapping. Second, we average over the production of multiple jointly trained modified ResNets to get the final prediction. These two steps give an approximation to the Feynman-Kac formula for representing the solution of a transport equation with viscosity, or a convection-diffusion equation. For the CIFAR10 benchmark, this simple algorithm leads to a robust model with a natural accuracy of {\\bf 85.62}\\% on clean images and a robust accuracy of ${\\bf 57.94 \\%}$ under the 20 iterations of the IFGSM attack, which outperforms the current state-of-the-art in defending against IFGSM attack on the CIFAR10. Both natural and robust accuracies of the proposed ResNets ensemble can be improved dynamically as the building block ResNet advances. The code is available at: \\url{https://github.com/BaoWangMath/EnResNet}.

研究の動機と目的

• 敵対的に訓練された深層ニューラルネットワークにおける自然精度とロバスト精度のトレードオフを解消すること。
• 綺麗なデータにおける性能を損なわずに、ロバストモデルの一般化性能を向上させること。
• 最適制御および輸送方程式に基づいた理論的裏付けを持つアンサンブル手法を開発すること。
• 推論時に小さなモデルを統合できる、スケーラブルでメモリ効率の良い防御を提供すること。

提案手法

• 各残差ブロックの出力に分散制御されたガウスノイズを注入し、基礎となる輸送方程式の解を正則化すること。
• 最適化を共有することで、複数の変更済みResNetを共同で訓練し、ノイズ正則化動的特性の一貫性を確保すること。
• 各エポックごとに更新され、合計が1に正規化される学習可能な重みを用いてアンサンブルの出力を平均化すること。
• 重み付きロジットの加重平均としてアンサンブル予測を定式化し、最終出力を結合ロジット上でlog-softmaxを適用して計算すること。
• フェインマン＝カックの公式を用いて、アンサンブルを粘性移流拡散方程式の解の近似と解釈すること。
• 交差エントロピー損失に対する勾配降下法を用いてアンサンブル重みを最適化し、重み付きロジットの連鎖律則に従って勾配を計算すること。

実験結果

リサーチクエスチョン

• RQ1 残差ブロックに制御されたノイズを注入することで、敵対的に訓練されたResNetにおける自然精度とロバスト精度の両方が向上するか？
• RQ2 フェインマン＝カック形式は、敵対的摂動下における深層残差ネットワークの一般化行動とどのように関係するか？
• RQ3 共同で訓練されたノイズ注入済みResNetの単純なアンサンブルは、CIFAR-10およびCIFAR-100において標準アンサンブルおよび最先端の防御手法を上回るか？
• RQ4 提案手法は、基本となるResNetアーキテクチャが進化またはスケーリングしても、ロバスト性の向上を維持するか？

主な発見

• CIFAR-10では、20イテレーションのIFGSM攻撃下で85.62%の自然精度と57.94%のロバスト精度を達成し、現在の最先端防御を上回った。
• ノイズ注入済みResNet20とResNet32のアンサンブルは、C&W攻撃下でEn 2 ResNet32に比べ、自然精度で0.10%、ロバスト精度で0.21%高い性能を示した。
• CIFAR-100では、C&W攻撃下で53.07%の自然精度と42.23%のロバスト精度を達成し、En 2 ResNet32と同等の性能を示しながらも、より優れたロバスト性を維持した。
• ベースとなるResNetアーキテクチャの進歩に伴い、自然精度およびロバスト精度が両方とも向上するため、動的に改善される。
• アンサンブルフレームワークはメモリ効率が高く、小さなモデルの訓練と推論時における統合が可能で、完全なモデルの保存を必要としない。
• 理論的分析により、アンサンブルがフェインマン＝カックの公式にリンクし、粘性輸送方程式の数値近似として解釈可能であることが示された。