[論文レビュー] Analyzing Stability of Convolutional Neural Networks in the Frequency Domain

Elnaz Jahani Heravi, Hamed Habibi Aghdam+1 more|arXiv (Cornell University)|Nov 10, 2015

Adversarial Robustness in Machine Learning参考文献 11被引用数 3

ひとこと要約

この論文は、畳み込みニューラルネットワーク（ConvNets）を周波数ドメインで分析し、4次元のフィルターフーリエ変換の可視化を用いて、人間が感知できないほどの微小なノイズに対する不安定性を説明する。ノイズを拡大する周波数応答が広がったフィルタは、ノイズを増幅するが、ノイズありデータで微調整することで周波数応答が集中するフィルタが得られ、加法的ガウスノイズに対する耐性が著しく向上することが示された。

ABSTRACT

Understanding the internal process of ConvNets is commonly done using visualization techniques. However, these techniques do not usually provide a tool for estimating the stability of a ConvNet against noise. In this paper, we show how to analyze a ConvNet in the frequency domain using a 4-dimensional visualization technique. Using the frequency domain analysis, we show the reason that a ConvNet might be sensitive to a very low magnitude additive noise. Our experiments on a few ConvNets trained on different datasets revealed that convolution kernels of a trained ConvNet usually pass most of the frequencies and they are not able to effectively eliminate the effect of high frequencies. Our next experiments shows that a convolution kernel which has a more concentrated frequency response could be more stable. Finally, we show that fine-tuning a ConvNet using a training set augmented with noisy images can produce more stable ConvNets.

研究の動機と目的

• 入力画像に人間が感知できないほどの微小なノイズに対してConvNetsがなぜ感受性を示すのかを理解すること。
• 不安定性の原因を診断するための畳み込みフィルタの周波数ドメイン分析手法を開発すること。
• ノイズありデータでの学習が、ConvNetのノイズ耐性を向上させるかどうかを評価すること。
• 損失関数、活性化関数、入力サイズが安定性に与える影響を調査すること。
• ノイズレベルに応じて、ガウス平滑化が性能を向上させるか、悪化させるかを特定すること。

提案手法

• 2次元フーリエ変換を用いて、3次元畳み込みフィルタを4次元周波数応答として可視化する。
• 複数のConvNetsにおける第1層フィルタの平均パワースペクトルを計算し、周波数集中度を比較する。
• 元のデータセットおよびノイズ増強済みデータセットでConvNetsを学習させ、耐性向上を評価する。
• ノイズあり画像にガウス平滑化を適用し、信号対ノイズ比を変化させた状況で性能を評価する。
• 4次元のカラーマップ可視化を用いて、微調整前後におけるフィルタの周波数応答を比較する。
• フィルタのスペクトル集中度と、ノイズあり入力におけるテスト精度の相関関係を算出し、安定性を定量化する。

実験結果

リサーチクエスチョン

• RQ1 人間が感知できないほどの低振幅の加法的ノイズに対して、なぜConvNetsが感受性を示すのか？
• RQ2 畳み込みフィルタの周波数応答は、ノイズに対する耐性とどのように関係しているか？
• RQ3 ノイズあり学習データで微調整することで、より安定した周波数応答を得られるか？
• RQ4 ノイズ強度に応じて、ガウス平滑化はConvNet性能を向上させるか、悪化させるか？
• RQ5 特定の損失関数や活性化関数が、フィルタのより安定した周波数応答を生じさせるか？

主な発見

• クリーンデータで学習したConvNetsは広い周波数応答を示し、高周波数ノイズがネットワーク全体に伝搬されることを示した。
• ノイズありデータで微調整した後、第1層フィルタの平均スペクトルはより局在化し、ノイズ抑制能力の向上を示した。
• ノイズありデータで学習したConvNetsは、ノイズありテストセットで顕著な精度向上を示した。CIFAR10（ハングル）においてσ=40のとき、精度は87.2％から85.0％に低下したが、ソフトプラス変換の場合は83.7％にとどまった。
• ガウス平滑化は高SNRの画像ではノイズが強い場合にのみ性能を向上させるが、クリーン画像では中周波数成分の減衰により性能を損なう。
• 損失関数や活性化関数が一貫してより安定したフィルタを生じるわけではない。安定性はフィルタのスペクトル集中度に依存する。
• 周波数ドメイン分析により、フィルタ応答の広がりがノイズ感受性の主な原因であることが判明した。ネットワークの深さやアーキテクチャの単なる要因ではない。