[논문 리뷰] Analyzing Stability of Convolutional Neural Networks in the Frequency Domain

Elnaz Jahani Heravi, Hamed Habibi Aghdam외 1명|arXiv (Cornell University)|2015. 11. 10.

Adversarial Robustness in Machine Learning참고 문헌 11인용 수 3

한 줄 요약

이 논문은 4차원 필터 푸리에 변환 시각화를 통해 컨volutional 신경망(ConvNets)의 주파수 도메인 분석을 제안하여, 인식할 수 없는 소음에 대한 불안정성을 설명한다. 넓은 주파수 응답을 가지는 필터는 소음을 증폭시키며, 노이즈가 첨가된 데이터로의 퍼포트레이닝은 더 농축된 스펙트럼을 가진 필터를 생성하여 추가적인 가우시안 노이즈에 대한 강건성을 크게 향상시킨다.

ABSTRACT

Understanding the internal process of ConvNets is commonly done using visualization techniques. However, these techniques do not usually provide a tool for estimating the stability of a ConvNet against noise. In this paper, we show how to analyze a ConvNet in the frequency domain using a 4-dimensional visualization technique. Using the frequency domain analysis, we show the reason that a ConvNet might be sensitive to a very low magnitude additive noise. Our experiments on a few ConvNets trained on different datasets revealed that convolution kernels of a trained ConvNet usually pass most of the frequencies and they are not able to effectively eliminate the effect of high frequencies. Our next experiments shows that a convolution kernel which has a more concentrated frequency response could be more stable. Finally, we show that fine-tuning a ConvNet using a training set augmented with noisy images can produce more stable ConvNets.

연구 동기 및 목표

• 입력 이미지의 소규모이면서도 인식할 수 없는 소음에 대해 컨브넷이 민감한 이유를 이해하기 위해.
• 불안정성 원인을 진단하기 위해 컨volution 필터의 주파수 도메인 분석 방법을 개발하기 위해.
• 노이즈가 첨가된 데이터로의 훈련이 컨브넷의 노이즈에 대한 강건성을 향상시키는지 평가하기 위해.
• 손실 함수, 활성화 함수, 입력 크기의 영향이 안정성에 미치는 영향을 조사하기 위해.
• 노이즈 수준에 따라 가우시안 스무딩이 성능을 향상시키는지 또는 악화시키는지 결정하기 위해.

제안 방법

• 2차원 푸리에 변환을 이용해 3차원 컨volution 필터를 4차원 주파수 응답으로 시각화하기.
• 여러 개의 컨브넷에서 첫 번째 레이어 필터의 평균 파wer 스펙트럼을 계산하여 주파수 집중도를 비교하기.
• 원본 및 노이즈가 첨가된 데이터셋으로 컨브넷을 훈련시어 강건성 향상 여부 평가하기.
• 노이즈가 첨가된 이미지에 가우시안 스무딩을 적용하고, 다양한 신호 대 노이즈 비율에서 성능 평가하기.
• 4차원 색상 맵핑 시각화를 사용하여 퍼포트레이닝 전후의 필터 주파수 응답을 비교하기.
• 노이즈가 첨가된 입력에서의 테스트 정확도와 필터의 스펙트럼 집중도를 상관관계 분석하여 안정성 정량화하기.

실험 결과

연구 질문

• RQ1 사람의 시각에 인식할 수 없는 낮은 크기의 가우시안 노이즈에도 불구하고 컨브넷이 왜 민감한가?
• RQ2 컨volution 필터의 주파수 응답이 노이즈에 대한 강건성과 어떻게 관련이 있는가?
• RQ3 노이즈가 첨가된 훈련 데이터로의 퍼포트레이닝이 더 안정적인 주파수 응답을 가진 컨브넷을 생성할 수 있는가?
• RQ4 노이즈 강도에 따라 가우시안 스무딩이 컨브넷 성능을 향상시키는지 또는 악화시키는가?
• RQ5 특정 손실 함수나 활성화 함수가 필터의 더 안정적인 주파수 응답을 유도하는가?

주요 결과

• 청결한 데이터로 훈련된 컨브넷은 넓은 주파수 응답을 보이며, 고주파 노이즈가 네트워크 전반에 걸쳐 전파될 수 있다.
• 노이즈가 첨가된 데이터로의 퍼포트레이닝 이후, 첫 번째 레이어 필터의 평균 스펙트럼은 더 국소화되어 노이즈 억제 능력 향상이 나타난다.
• 노이즈가 첨가된 데이터로 훈련된 컨브넷은 노이즈가 첨가된 테스트 세트에서 정확도가 크게 향상되었으며, CIFAR10에서 σ=40일 때 힌지 손실 함수를 사용한 경우 정확도가 87.2%에서 85.0%로 떨어지지만, 소프트플러스 변형은 83.7%로 나타나 더 낮은 성능 저하를 보였다.
• 가우시안 스무딩은 고신호대노이즈 비율(SNR) 이미지에서는 노이즈가 강할 경우에만 성능 향상을 가져오며, 청결한 이미지에서는 중주파수 대역 감쇠로 인해 성능 저하를 초래한다.
• 특정 손실 함수나 활성화 함수가 항상 더 안정적인 필터를 생성하는 것은 아니며, 안정성은 필터의 스펙트럼 집중도에 따라 달라진다.
• 주파수 도메인 분석을 통해 필터 응답의 넓어짐이 단지 네트워크 깊이나 아키텍처 때문이 아니라, 노이즈 민감성의 핵심 원인임을 밝혀냈다.