[논문 리뷰] An Effective Anti-Aliasing Approach for Residual Networks

Cristina Nader Vasconcelos, Hugo Larochelle외 3명|arXiv (Cornell University)|2020. 11. 20.

Adversarial Robustness in Machine Learning참고 문헌 16인용 수 23

한 줄 요약

이 논문은 Residual Networks에 대한 단순하고 학습 불가능한 앤티앨리어싱 기법을 제안하며, 스트라이드 컨벌루션, 스킵 연결, 초기 풀링 레이어와 같은 핵심 다운샘플링 위치에 블러 필터를 삽입함으로써 고주파 성분의 앨리어싱를 억제한다. 또한 부드러운 활성화 함수를 함께 사용한다. 이 방법은 추가적인 학습 가능한 파rameter 없이 ImageNet-C와 Meta-Dataset에서 분포 외 일반화 성능을 크게 향상시켜, ImageNet-C에서 최신 기준 mCE 64.9%를 달성하고, Meta-Dataset에서 3.75%p의 절대 정확도 향상을 이룬다.

ABSTRACT

Image pre-processing in the frequency domain has traditionally played a vital role in computer vision and was even part of the standard pipeline in the early days of deep learning. However, with the advent of large datasets, many practitioners concluded that this was unnecessary due to the belief that these priors can be learned from the data itself. Frequency aliasing is a phenomenon that may occur when sub-sampling any signal, such as an image or feature map, causing distortion in the sub-sampled output. We show that we can mitigate this effect by placing non-trainable blur filters and using smooth activation functions at key locations, particularly where networks lack the capacity to learn them. These simple architectural changes lead to substantial improvements in out-of-distribution generalization on both image classification under natural corruptions on ImageNet-C [10] and few-shot learning on Meta-Dataset [17], without introducing additional trainable parameters and using the default hyper-parameters of open source codebases.

연구 동기 및 목표

• 분포 이탈 상황, 예를 들어 자연적인 손상이나 소수 샘플 학습에서 스펙트럼 앨리어싱이 딥 네트워크 성능을 떨어뜨리는지 조사하기 위해.
• 잔차 네트워크가 앤티앨리어징 필터를 암묵적으로 학습하는지, 또는 명시적인 아키텍처 개선이 필요한지 확인하기 위해.
• 특히 공간적 지원이 제한된 경로에서 앤티앨리어징 필터 배치가 모델 성능에 미치는 영향을 평가하기 위해.
• 수신 영역 변화나 기울기 동역학과 같은 다른 혼란 요인들과의 영향을 분리하여 앨리어징 효과를 고립시키기 위해.
• 다양한 일반화 설정에서 강건성을 높이는 경량이며 파rameter가 없는 아키텍처 개선 기법을 개발하기 위해.

제안 방법

• 스트라이드 컨벌루션 레이어, 스트라이드 스킵 연결, 초기 맥스 풀링 레이어 이후에 학습 불가능한 가우시안 블러 필터를 삽입하여 고주파 앨리어징을 억제한다.
• 기울기 흐름 향상과 저수준 특징 맵에서의 양자화 아티팩트 감소를 위해 Swish나 GELU와 같은 부드러운 활성화 함수를 적용한다.
• 재현 가능성과 실용적 적용성을 확보하기 위해 공개 코드베이스의 기본 초모수를 사용하여 학습을 수행하며, ImageNet-C 손상과 겹치지 않는 데이터 증강(예: RandAugment)을 적용한다.
• 1×1 컨벌루션에서 공간적 지원이 없는 곳, 예를 들어 다운샘플링 이후의 잔차 스킵 연결과 같은 아키텍처의 병목 지점에 블러 필터를 배치한다.
• 수신 영역나 기울기 역전파 동역학 변화와 같은 요인의 영향을 분리하기 위해 아웃라이어 효과를 고립시키기 위한 아블레이션 스터디를 수행한다.
• 재현 가능성과 실용적 적용성을 확보하기 위해 공개 코드베이스에서 제공하는 기본 초모수를 사용하여 모델을 학습한다.

실험 결과

연구 질문

• RQ1 잔차 네트워크에서 분포 이탈 벤치마크, 예를 들어 ImageNet-C나 Meta-Dataset에서 주파수 앨리어징이 성능을 떨어뜨리는가?
• RQ2 잔차 네트워크가 암묵적으로 앤티앨리어징 필터를 학습할 수 있는가, 아니면 명시적인 아키텍처 개선이 필요한가?
• RQ3 앤티앨리어징 필터의 배치가 성능에 미치는 영향은 어떠한가, 특히 공간적 지원이 제한된 경로에서?
• RQ4 표준 학습 루틴에서 네트워크가 앤티앨리어징 필터를 학습하도록 유도하는가, 아니면 명시적 필터링이 필수적인가?
• RQ5 수신 영역 변화나 기울기 동역학과 같은 혼란 요인과의 영향을 분리하여 앤티앨리어징 효과를 고립시킬 수 있는가?

주요 결과

• 제안된 앤티앨리어징 기법은 오직 아키텍처 변경과 기본 초모수만을 사용하여 ImageNet-C의 mCE를 76.7%에서 70.0%로 감소시켰다.
• 이 방법은 ImageNet에서 정확도 21.2%의 깔끔한 상위-1 오차를 달성하여 원본 ResNet-50 기준 23.9%보다 뛰어난 성능을 보였다.
• 블러 필터와 부드러운 GELU 활성화 함수를 조합하면 Meta-Dataset에서 평균 3.75%p의 절대 정확도 향상을 이뤘으며, 이 중 도메인 외 작업에서 2.73%p의 향상을 기록했다.
• 스킵 연결, 메인 경로 컨벌루션, 초기 풀링의 세 가지 핵심 위치에 모두 블러 필터를 배치할 경우 가장 우수한 성능을 기록했다.
• 첫 번째 스트라이드 컨벌루션을 완전히 제거(스트라이드 2를 스트라이드 1로 변경)하면 Meta-Dataset 정확도가 77.86%로 향상되었으며, 블러 필터만 사용한 경우보다 뛰어났다. 이는 다운샘플링으로 인한 정보 손실이 복구 불가능하다는 것을 시사한다.
• 이 방법은 모든 테스트 설정에서 일관되게 성능 향상을 이끌었으며, 청소년 정확도는 악화시키지 않았고, 어떤 실험에서도 성능 저하를 일으키지 않았다.