[논문 리뷰] Wavelet Integrated CNNs for Noise-Robust Image Classification

Qiufu Li, Linlin Shen외 2명|arXiv (Cornell University)|2020. 05. 07.

Image and Signal Denoising Methods참고 문헌 40인용 수 11

한 줄 요약

이 논문은 전통적인 다운샘플링 연산(최대 풀링, 스트라이드 컨벌루션)을 이산 웨이블릿 변환(DWT)으로 대체하는 웨이블릿 통합 컨볼루션 네트워크(WaveCNets)를 제안한다. 이는 노이즈에 강건하고 정확도를 향상시키기 위함이다. 특징 맵을 저주파수(구조 유지) 및 고주파수(노이즈 포함) 성분으로 분해하고 추론 시 후자를 기각함으로써 WaveCNets는 객체의 통합성을 유지하며 ImageNet 및 노이즈가 포함된 ImageNet-C 벤치마크에서 일반 모델보다 뛰어난 성능을 달성한다.

ABSTRACT

Convolutional Neural Networks (CNNs) are generally prone to noise interruptions, i.e., small image noise can cause drastic changes in the output. To suppress the noise effect to the final predication, we enhance CNNs by replacing max-pooling, strided-convolution, and average-pooling with Discrete Wavelet Transform (DWT). We present general DWT and Inverse DWT (IDWT) layers applicable to various wavelets like Haar, Daubechies, and Cohen, etc., and design wavelet integrated CNNs (WaveCNets) using these layers for image classification. In WaveCNets, feature maps are decomposed into the low-frequency and high-frequency components during the down-sampling. The low-frequency component stores main information including the basic object structures, which is transmitted into the subsequent layers to extract robust high-level features. The high-frequency components, containing most of the data noise, are dropped during inference to improve the noise-robustness of the WaveCNets. Our experimental results on ImageNet and ImageNet-C (the noisy version of ImageNet) show that WaveCNets, the wavelet integrated versions of VGG, ResNets, and DenseNet, achieve higher accuracy and better noise-robustness than their vanilla versions.

연구 동기 및 목표

• 소규모 입력 노이즈에 취약한 CNN의 문제를 해결하기 위해.
• 특징 추출 능력을 손상시키지 않은 채 딥 네트워크의 노이즈에 강건한 성능을 향상시키기 위해.
• 다양한 웨이블릿과 호환되는 일반적인 DWT/IDWT 레이어를 설계해 엔드 투 엔드 훈련에 적합하게 만들기 위해.
• 웨이블릿 기반 다운샘플링을 VGG, ResNet, DenseNet과 같은 주류 CNN 아키텍처에 통합하기 위해.
• 정상 조건과 노이즈가 포함된 조건에서 이미지 분류 및 의미 세그먼테이션 작업에 대해 방법을 평가하기 위해.

제안 방법

• 최대 풀링 및 스트라이드 컨벌루션을 대체해 다운샘플링을 위해 이산 웨이블릿 변환(DWT)을 사용하며, 특징 맵을 저주파수(ll) 및 고주파수(lh, hl, hh) 성분으로 분해한다.
• 파이토치(PyTorch)에 다수의 웨이블릿(Haar, Daubechies, Coiflet 등)을 지원하는 일반적인 DWT/IDWT 레이어를 설계해 딥 네트워크에 탄력적으로 통합할 수 있도록 한다.
• 추론 시 고주파수 성분을 기각해 노이즈 억제를 하고 저주파수 성분을 유지해 강건한 특징 학습을 실현한다.
• VGG, ResNet, DenseNet 등의 기존 아키텍처에 DWT/IDWT 레이어를 통합해 WaveCNets를 구축하며, 엔드 투 엔드 미분 가능성을 유지한다.
• 세그먼테이션 작업의 디코더 경로에서 역이산 웨이블릿 변환(IDWT)을 사용해 고주파수 세부 정보를 복원하고 해상도 복구를 향상시킨다.
• ImageNet 및 ImageNet-C에서 WaveCNets를 훈련 및 평가하고, WaveUNets를 통해 SegNet에 프레임워크를 확장해 의미 세그먼테이션에 적용한다.

실험 결과

연구 질문

• RQ1 기존의 다운샘플링을 DWT로 대체하면 CNN의 노이즈에 강건한 성능이 향상되는가?
• RQ2 추론 시 저주파수 성분만 유지하면 노이즈 조건 하에서 분류 정확도가 향상되는가?
• RQ3 일반적인 DWT/IDWT 레이어는 다양한 CNN 아키텍처에 엔드 투 엔드 훈련에 효과적으로 통합될 수 있는가?
• RQ4 특징 보존 및 노이즈 억제 측면에서 웨이블릿 기반 다운샘플링은 최대 풀링보다 어떻게 비교되는가?
• RQ5 DWT/IDWT 프레임워크는 의미 세그먼테이션과 같은 이미지 간 번역 작업에서 성능 향상에 기여하는가?

주요 결과

• VGG, ResNet, DenseNet 기반 WaveCNets는 기존 모델 대비 ImageNet에서 더 높은 상위-1 정확도를 기록한다(예: WResNet34는 74.35%).
• 노이즈가 포함된 ImageNet-C 벤치마크에서 WaveCNets는 뚜렷한 노이즈에 강건한 성능을 보이며, WResNet34는 평균 클래스 오차(mCE) 72.73%를 기록해 표준 ResNet을 능가한다.
• WaveUNets에서 Haar 웨이블릿을 사용하면 CamVid 데이터셋에서 최고의 mIoU 64.23%를 달성해 표준 SegNet(60.10%)를 능가한다.
• WaveUNets는 나뭇가지, 전봇대와 같은 세밀한 객체 세부 정보를 성공적으로 복원하며, 애초에 애너테이션 노이즈가 있는 경우에도 SegNet을 능가하는 성능을 보였다.
• DWT/IDWT 레이어는 분류 작업 외에도 세그먼테이션 작업에 효과적이며, 인코더-디코더 네트워크에서의 유연성을 입증했다.
• 고주파수 성분을 연결하는 WResNet18_C는 고주파수 성분 기반의 노이즈 전파로 인해 WResNet18 및 WResNet34보다 성능이 열 劣하므로, 고주파수 성분 기각의 유용성을 확인한다.