[論文レビュー] Adversarial Defense by Suppressing High-frequency Components

Zhendong Zhang, Cheolkon Jung+1 more|arXiv (Cornell University)|Aug 19, 2019

Adversarial Robustness in Machine Learning参考文献 4被引用数 8

ひとこと要約

本論文では、離散フーリエ変換（DFT）に基づく微分可能で高周波成分を抑えるモジュールを提案し、敵対的攻撃に対する深層ニューラルネットワークのロバスト性を向上させる。敵対的摂動が利用する高周波成分をフィルタリングすることで、その影響を軽減する。本手法は、高周波成分抑制、敵対的訓練（TRADES）、モデルアンサンブルを組み合わせることで、IJCAI-2019 Alibaba Adversarial AI Challengeで19.7531のスコアを記録し、5位を獲得した。

ABSTRACT

Recent works show that deep neural networks trained on image classification dataset bias towards textures. Those models are easily fooled by applying small high-frequency perturbations to clean images. In this paper, we learn robust image classification models by removing high-frequency components. Specifically, we develop a differentiable high-frequency suppression module based on discrete Fourier transform (DFT). Combining with adversarial training, we won the 5th place in the IJCAI-2019 Alibaba Adversarial AI Challenge. Our code is available online.

研究の動機と目的

• 高周波成分の摂動を利用する敵対的攻撃に対して脆弱な深層ニューラルネットワークの課題を解決する。
• 綺麗な画像は低周波成分にエネルギーが集中しているが、敵対的摂動は主に高周波成分であるという観察を活用する。
• 綺麗な画像の表現を劣化させることなく、高周波成分を効果的に抑制する、ロバストで効率的かつ微分可能な画像前処理モジュールを開発する。
• 敵対的訓練とモデルアンサンブルとを統合することで、モデルのロバスト性を向上させる。
• 周波数ドメインでのフィルタリングが、現実世界の敵対的チャレンジにおいて有効な防御機構であることを実証する。

提案手法

• 入力画像を周波数ドメインに変換するため、離散フーリエ変換（DFT）を適用する。
• 半径 r のボックス窓マスク 𝒫 を用いて、高周波成分（0 に設定）を抑制し、低周波成分（1 に設定）を保持する。
• 周波数フィルタリング後に逆DFTを適用し、空間ドメインに画像を再構築する。これにより微分可能なモジュールを構築：x ← F⁻¹(𝒫 ⊙ F(x))。
• DNNアーキテクチャに高周波成分抑制モジュールを統合し、敵対的サンプルを用いたエンドツーエンド学習を可能にする。
• TRADESを用いた敵対的訓練と組み合わせ、クリーンな精度とロバスト性の両方を最適化する。
• 異なる抑制半径 r を持つ複数のモデルをアンサンブル化することで、さらにロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 周波数ドメインで高周波成分を抑制することで、深層ニューラルネットワークの敵対的攻撃に対するロバスト性が向上するか？
• RQ2 微分可能で効率的かつ制御可能な高周波成分抑制モジュールを敵対的訓練と組み合わせることで、より優れた防御が達成できるか？
• RQ3 高周波成分抑制の程度（半径 r で制御）に応じて、クリーン精度とロバスト性のトレードオフはどのように変化するか？
• RQ4 現実世界の敵対的チャレンジにおいて、周波数ドメインフィルタリングは標準的な敵対的訓練のみよりも効果的か？
• RQ5 高周波成分抑制による性能向上は、敵対的訓練およびモデルアンサンブルと補完的か？

主な発見

• 綺麗な画像は低周波領域に集中したスペクトルエネルギーを示すが、敵対的摂動はすべての周波数にほぼ均等なエネルギー分布を示す。
• ボックス窓マスクを用いた高周波成分抑制は、敵対的摂動の影響を効果的に低減するが、綺麗な画像の構造的情報をほとんど保持する。
• 提案された高周波成分抑制モジュールは微分可能で、O(MN log M)の計算量で効率的かつ半径 r で制御可能である。
• 敵対的訓練を用いない単体の高周波成分抑制のみでも、r が小さくなるほどロバスト性が著しく向上するが、クリーン精度は低下する。
• 高周波成分抑制をTRADESによる敵対的訓練とモデルアンサンブルと組み合わせた結果、IJCAI-2019 Alibaba Adversarial AI Challengeで19.7531のスコアを記録し、最良の性能を達成した。
• 本手法はチャレンジで5位を獲得し、単体の敵対的訓練や高周波成分抑制よりも優れており、相乗効果が示された。