[논문 리뷰] Measuring the tendency of CNNs to Learn Surface Statistical Regularities

Jason Jo, Yoshua Bengio|arXiv (Cornell University)|2017. 11. 30.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 193

한 줄 요약

이 논문은 딥 CNN이 고수준 추상화가 아니라 표면적 프루너(statistics)인 Fourier 통계치를 이용하여 일반화하는 경향이 있음을 보여주고, Fourier-필터링된 SVHN 및 CIFAR-10 데이터셋에서 상당한 일반화 격차를 통해 이를 입증합니다. 심층이 큰 구실을 주지는 못하지만, 완전한 증강 학습은 격차를 줄일 수 있습니다.

ABSTRACT

Deep CNNs are known to exhibit the following peculiarity: on the one hand they generalize extremely well to a test set, while on the other hand they are extremely sensitive to so-called adversarial perturbations. The extreme sensitivity of high performance CNNs to adversarial examples casts serious doubt that these networks are learning high level abstractions in the dataset. We are concerned with the following question: How can a deep CNN that does not learn any high level semantics of the dataset manage to generalize so well? The goal of this article is to measure the tendency of CNNs to learn surface statistical regularities of the dataset. To this end, we use Fourier filtering to construct datasets which share the exact same high level abstractions but exhibit qualitatively different surface statistical regularities. For the SVHN and CIFAR-10 datasets, we present two Fourier filtered variants: a low frequency variant and a randomly filtered variant. Each of the Fourier filtering schemes is tuned to preserve the recognizability of the objects. Our main finding is that CNNs exhibit a tendency to latch onto the Fourier image statistics of the training dataset, sometimes exhibiting up to a 28% generalization gap across the various test sets. Moreover, we observe that significantly increasing the depth of a network has a very marginal impact on closing the aforementioned generalization gap. Thus we provide quantitative evidence supporting the hypothesis that deep CNNs tend to learn surface statistical regularities in the dataset rather than higher-level abstract concepts.

연구 동기 및 목표

• CNN이 악의적 민감성에도 불구하고 왜 일반화가 잘 되는지 표면 통계 의존성을 조사하여 동기를 부여합니다.
• recognizability(인식 가능성)를 보존하지만 겉모습 이미statistic을 변경하는 Fourier 필터링을 통한 perturbation 맵을 제안합니다.
• 제거된 필터링이 없는 데이터와 Fourier 필터링된 데이터 간의 테스트 분포에서 일반화 격차를 정량적으로 측정합니다.
• 네트워크 깊이나 데이터 증강을 늘리는 것이 일반화 격차를 얼마나 줄이는지 평가하고, 고수준 추상화 학습에 대한 시사점을 논의합니다.

제안 방법

• 객체 인식 가능성을 보존하면서 이미지 통계를 바꾸는 두 가지 Fourier 필터링 방식(방사형 마스크 및 균일 무작위 마스킹)을 정의합니다.
• 데이터셋 이미지에 Fourier 변환을 적용하고, 고주파수 또는 무작위 Fourier 계수를 마스킹한 뒤 필터링된 데이터셋을 재구성합니다.
• unfiltered, radial-filtered, 또는 random-filtered 학습 세트에서 고성능 CNN(Preact-ResNet-92/200)을 학습시키고 unfiltered/radial/random 테스트 세트에서 평가합니다.
• 일치하는 여러 테스트 분포 간의 정확도 차이의 최대값으로 일반화 격차를 측정합니다.
• 전체 필터링된 데이터와 비필터링 데이터를 포함한 증강 학습으로 일반화 격차에 미치는 영향을 분석합니다.

실험 결과

연구 질문

• RQ1 CNN이 하나의 Fourier-필터링 분포에서 학습되었을 때, 인지 가능성을 보존한 채 다른 Fourier 통계치를 가진 다른 분포에 일반화가 잘 되는가?
• RQ2 깊이(92층 대 200층)가 표면 통계 변화로 유도된 일반화 격차를 해소하는 능력에 어떤 영향을 미치는가?
• RQ3 완전한 증강 학습이 표면 통계 의존성을 완전히 해소하지는 못하더라도 이를 완화할 수 있는가?
• RQ4 Radial 대 Random Fourier 필터링이 데이터셋(SVHN, CIFAR-10) 전반의 일반화 격차를 어떻게 촉진하는가?

주요 결과

• 필터링 없이 학습된 CNN은 radially 필터링되거나 임의로 필터링된 데이터에서 평가될 때 비트적 일반화 격차를 보인다(약 28%까지).
• CNN의 깊이(92층에서 200층으로)는 이러한 일반화 격차를 해소하는 데 제한적인 영향을 미친다.
• Radial 필터링은 일반적으로 무작위 필터링보다 작은 격차를 생성하며, 증강 학습은 격차를 줄이지만 항상 제거하는 것은 아니다.
• Fourier-필터링된 데이터로 학습된 CNN도 비필터링 테스트에 비교적 잘 일반화하여 최적의 비필터링 정확도의 약 1-2% 이내에서 성능을 유지한다.
• 데이터 증강을 Fourier-filtered 및 비필터링 데이터를 모두 포함하도록 확장하면 격차가 개선되지만 진정한 고수준 추상화 학습을 가능하게 하지는 못한다.