[논문 리뷰] Making Convolutional Networks Shift-Invariant Again

Richard Zhang|arXiv (Cornell University)|2019. 04. 25.

Graph Theory and Algorithms인용 수 376

한 줄 요약

이 논문은 CNN을 더 강건하게 만들기 위한 흐림(블러) 기반 다운샘플링(MaxBlurPool/MaxBlurDown)을 도입하여 특징 맵을 더 매끄럽게 만들고, 공간적 변화에 대한 민감성을 줄이며, 변화 기반 적대적 공격에 대한 강인성을 향상시킨다.

ABSTRACT

Modern convolutional networks are not shift-invariant, as small input shifts or translations can cause drastic changes in the output. Commonly used downsampling methods, such as max-pooling, strided-convolution, and average-pooling, ignore the sampling theorem. The well-known signal processing fix is anti-aliasing by low-pass filtering before downsampling. However, simply inserting this module into deep networks degrades performance; as a result, it is seldomly used today. We show that when integrated correctly, it is compatible with existing architectural components, such as max-pooling and strided-convolution. We observe extit{increased accuracy} in ImageNet classification, across several commonly-used architectures, such as ResNet, DenseNet, and MobileNet, indicating effective regularization. Furthermore, we observe extit{better generalization}, in terms of stability and robustness to input corruptions. Our results demonstrate that this classical signal processing technique has been undeservingly overlooked in modern deep networks. Code and anti-aliased versions of popular networks are available at https://richzhang.github.io/antialiased-cnns/ .

연구 동기 및 목표

• 합성곱 신경망에서 시프트-인베리언스의 필요성을 동기화하고 표준 풀링의 한계를 식별한다.
• 블러 기반 다운샘플링 계층이 학습된 합성곱 필터에 미치는 영향을 분석한다.
• 다양한 흐림 커널과 함께 MaxBlurPool/MaxBlurDown 접근법을 제안하고 평가한다.
• 시프트로 인한 성능 저하 및 적대적 강건성에 미치는 영향을 평가한다.

제안 방법

• 더 부드러운 특징 맵을 유도하기 위해 최대 흐림 기반 다운샘플링을 도입한다.
• 풀링/다운샘플링 전에 다양한 크기의 Binomial 유사 흐림 커널(Bin-4, Bin-5, Bin-7 등)을 사용한다.
• 레이어 간의 정규화된 총 변화(TV)로 필터 매끄러움을 정량화한다.
• 공간적 변화가 있는 상태에서의 분류 정확도 및 데이터 증강 여부에 따라 평가한다.
• 공간적으로 이동된 입력 창을 통해 성능을 측정하여 시프트 기반 적대자에 대한 강건성을 테스트한다.

실험 결과

연구 질문

• RQ1 제안된 흐림 기반 다운샘플링을 사용할 때 학습된 합성곱 필터가 어떻게 변하는가?
• RQ2 이 계층으로 학습하면 더 매끄러운 특징 추출기가 만들어지고 공간적 변화에 대한 민감도가 감소하는가?
• RQ3 Baseline 풀링과 비교하여 공간적 시프트의 함수로서 정확도 저하는 어떻게 나타나는가?
• RQ4 이 접근법은 시프트 기반 적대적 공격에 대한 강건성을 향상시키는가?

주요 결과

• MaxBlurPool/Down은 기본 MaxPool보다 학습된 필터를 더 매끄럽게 만든다(총 변화가 더 낮다).
• 강한 블러 필터(Bin-7 등)를 사용할 때 공간적 시프트와 함께 분류 정확도가 더 덜 저하된다.
• 더 큰 블러 크기에 따라 출력 클래스 확률의 변화가 줄어들어 입력 위치에 대한 민감도가 감소한다.
• 더 강한 블러 필터링은 시프트 기반 적대자에 대한 강건성을 높이며 때로는 증강된 baselines를 능가한다.
• 블러 기반 다운샘플링이 정확도를 유지하면서 시프트-불변성과 강건성을 향상시킨다는 것을 뒷받침한다.