[논문 리뷰] Wavelet Convolutions for Large Receptive Fields

Shahaf E. Finder, Roy Amoyal외 2명|arXiv (Cornell University)|2024. 07. 08.

Image and Signal Denoising Methods인용 수 10

한 줄 요약

이 논문은 대수용영역을 달성하면서도 효율성과 다주파수 표현을 유지하기 위해 웨이브렛 변환을 합성곱 신경망에 도입하는 것을 제안합니다.

ABSTRACT

In recent years, there have been attempts to increase the kernel size of Convolutional Neural Nets (CNNs) to mimic the global receptive field of Vision Transformers' (ViTs) self-attention blocks. That approach, however, quickly hit an upper bound and saturated way before achieving a global receptive field. In this work, we demonstrate that by leveraging the Wavelet Transform (WT), it is, in fact, possible to obtain very large receptive fields without suffering from over-parameterization, e.g., for a $k imes k$ receptive field, the number of trainable parameters in the proposed method grows only logarithmically with $k$. The proposed layer, named WTConv, can be used as a drop-in replacement in existing architectures, results in an effective multi-frequency response, and scales gracefully with the size of the receptive field. We demonstrate the effectiveness of the WTConv layer within ConvNeXt and MobileNetV2 architectures for image classification, as well as backbones for downstream tasks, and show it yields additional properties such as robustness to image corruption and an increased response to shapes over textures. Our code is available at https://github.com/BGU-CS-VIL/WTConv.

연구 동기 및 목표

• 대규모 수용 영역이 필요하지만 과도한 계산 없이 달성해야 한다는 필요성을 동기화한다.
• 다주파수 정보를 포착하기 위한 웨이브렛 기반 합성곱 접근법을 도입한다.
• 웨이브렛 합성곱이 효율성을 보존하면서 수용 영역을 확장시키는 방법을 보여준다.

제안 방법

• 웨이브렛 변환 개념을 합성곱 신경망에 통합하여 웨이브렛 기반 특징 맵을 생성한다.
• 웨이브렛에 내재된 다주파수 표현을 활용하여 수용 영역을 풍부하게 만든다.
• 표준 합성곱을 웨이브렛 합성곱으로 대체하거나 보강하는 아키텍처 또는 알고리즘적 단계를 제시한다.
• 훈련 고려사항과 강건성이나 정확도 측면의 잠재적 이점을 논의한다.

실험 결과

연구 질문

• RQ1 웨이브렛 기반 합성곱이 매개변수나 계산량의 제곱 증가 없이도 대규모 수용 영역을 제공할 수 있는가?
• RQ2 다중 주파수 웨이브렛 표현이 전통적 합성곱에 비해 특징 학습을 개선하는가?
• RQ3 표준 비전 작업에서 웨이브렛 합성곱의 실용적 이점(예: 강건성, 효율성)은 무엇인가?

주요 결과

• 웨이브렛 기반 합성곱 접근법을 제안하여 대규모 수용 영역을 달성한다.
• 웨이브렛을 통한 다주파수 표현을 핵심 이점으로 강조한다.
• 표준 대형 커널 설계에 비해 효율성과 잠재적 성능 이점을 주장한다.
• 웨이브렛 방법론을 CNN 및 시각적 트랜스포머의 broader 문헌 맥락 속에 위치시킨다.