[論文レビュー] Measuring the tendency of CNNs to Learn Surface Statistical Regularities

Jason Jo, Yoshua Bengio|arXiv (Cornell University)|Nov 30, 2017

Adversarial Robustness in Machine Learning参考文献 41被引用数 193

ひとこと要約

この論文は、ディープCNNが高レベルの抽象に頼るのではなく表面のフーリエ統計を利用することで一般化することを示しており、フーリエフィルタリングされたSVHNとCIFAR-10データセットを用いて顕著な一般化ギャップを示した。深さはほとんど緩和をもたらさず、ただし完全に拡張された学習でギャップを低減できる。

ABSTRACT

Deep CNNs are known to exhibit the following peculiarity: on the one hand they generalize extremely well to a test set, while on the other hand they are extremely sensitive to so-called adversarial perturbations. The extreme sensitivity of high performance CNNs to adversarial examples casts serious doubt that these networks are learning high level abstractions in the dataset. We are concerned with the following question: How can a deep CNN that does not learn any high level semantics of the dataset manage to generalize so well? The goal of this article is to measure the tendency of CNNs to learn surface statistical regularities of the dataset. To this end, we use Fourier filtering to construct datasets which share the exact same high level abstractions but exhibit qualitatively different surface statistical regularities. For the SVHN and CIFAR-10 datasets, we present two Fourier filtered variants: a low frequency variant and a randomly filtered variant. Each of the Fourier filtering schemes is tuned to preserve the recognizability of the objects. Our main finding is that CNNs exhibit a tendency to latch onto the Fourier image statistics of the training dataset, sometimes exhibiting up to a 28% generalization gap across the various test sets. Moreover, we observe that significantly increasing the depth of a network has a very marginal impact on closing the aforementioned generalization gap. Thus we provide quantitative evidence supporting the hypothesis that deep CNNs tend to learn surface statistical regularities in the dataset rather than higher-level abstract concepts.

研究の動機と目的

• CNNが敵対的感度にもかかわらずよく一般化する理由を、表層統計への依存を調べることで動機づける。
• 認識性を保つが表層統計を変える、フーリエフィルタリングによる摂動マップを提案する。
• 未フィルタ済みデータとフーリエフィルタ済みデータの両方の学習における一般化ギャップを、テスト分布全体に渡って定量的に測定する。
• ネットワークの深さを増やすことやデータ拡張を行うことで一般化ギャップが縮まるかを評価し、高レベル抽象の学習への含意を論じる。

提案手法

• 表現 recognizability を保ちながら画像統計を変更する、半径マスクと一様ランダムマスクの2つのフーリエフィルタリング方式を定義する。
• 画像データにフーリエ変換を適用し、高周波成分をマスクするかランダムなフーリエ係数をマスクし、フィルタ済みデータセットを再構成する。
• 未フィルタ・半径フィルタ・ランダムフィルタ済みの学習セットで高性能CNN（Preact-ResNet-92/200）を訓練し、未フィルタ・半径フィルタ・ランダムテストセットで評価する。
• 一般化ギャップを、テスト分布間の精度の最大差として測定する。
• フィルタ済みおよび未フィルタ済みデータの全セットを用いて訓練を拡張し、一般化ギャップへの影響を分析する。

Figure 1 : The first image in each column corresponds to the Fourier mask in frequency space. A white pixel corresponds to preserving the Fourier mode, black/color corresponds to setting it to zero. Top row : No Fourier filtering applied, original SVHN images. Middle row : Radial mask and the corres

実験結果

リサーチクエスチョン

• RQ1 一つのフーリエフィルタ済み分布で訓練されたCNNは、認識性を保ちながら異なるフーリエ統計を持つ他の分布に対してもよく一般化するか。
• RQ2 深さ（92層対200層）は、表層統計の変化に起因する一般化ギャップを埋める能力にどのように影響するか？
• RQ3 完全に拡張された学習は表層統計への依存を緩和できるが、真の抽象学習への道として完全には解決しないか？
• RQ4 半径方向フィルタとランダムフィルタが、データセット間の一般化ギャップを生む上でどのような役割を果たすか（SVHN, CIFAR-10）？

主な発見

• 未フィルタデータで訓練したCNNは、半径方向フィルタまたはランダムフィルタされたデータで評価すると非自明な一般化ギャップを示し（最大約28%程度）。
• CNNの深さ（92層から200層）によるギャップ埋めの影響は限られている。
• 半径方向フィルタは一般にランダムフィルタよりギャップを小さくし、拡張訓練はギャップを減らすが常に完全には消えない。
• フーリエフィルタ済みデータで訓練したCNNは、未フィルタのテストにも比較的良く一般化し（最良の未フィルタ精度のおよそ1-2%程度まで）、良好な一般化を維持する。
• フーリエフィルタ済みおよび未フィルタ済みデータをすべて含むデータ拡張を増やすとギャップは改善されるが、真の高レベル抽象学習を実現するにはおそらく不十分である。

Figure 2 : The first image in each column corresponds to the Fourier mask in frequency space. A white pixel corresponds to preserving the Fourier mode, black/color corresponds to setting it to zero. Top row : No Fourier filtering applied, original CIFAR-10 images. Middle row : Radial mask and the co