[논문 리뷰] Wavelet Convolutional Neural Networks

Shin Fujieda, Kohei Takayama외 1명|arXiv (Cornell University)|2018. 05. 20.

Remote-Sensing Image Classification참고 문헌 28인용 수 107

한 줄 요약

이 논문은 multiresolution wavelet 분석을 CNN에 통합하여 스펙트럼 정보를 포착하고, Wavelet CNNs를 만들어 질감 분류 및 이미지 주석화를 개선하면서 기존 CNN 대비 파라미터 수를 현저히 줄입니다.

ABSTRACT

Spatial and spectral approaches are two major approaches for image processing tasks such as image classification and object recognition. Among many such algorithms, convolutional neural networks (CNNs) have recently achieved significant performance improvement in many challenging tasks. Since CNNs process images directly in the spatial domain, they are essentially spatial approaches. Given that spatial and spectral approaches are known to have different characteristics, it will be interesting to incorporate a spectral approach into CNNs. We propose a novel CNN architecture, wavelet CNNs, which combines a multiresolution analysis and CNNs into one model. Our insight is that a CNN can be viewed as a limited form of a multiresolution analysis. Based on this insight, we supplement missing parts of the multiresolution analysis via wavelet transform and integrate them as additional components in the entire architecture. Wavelet CNNs allow us to utilize spectral information which is mostly lost in conventional CNNs but useful in most image processing tasks. We evaluate the practical performance of wavelet CNNs on texture classification and image annotation. The experiments show that wavelet CNNs can achieve better accuracy in both tasks than existing models while having significantly fewer parameters than conventional CNNs.

연구 동기 및 목표

• 단일 모델에서 CNN과 다중해상도 분석을 결합한다.
• CNN을 다중해상도 분석의 제한된 형태로 재구성하고 누락된 고주파 구성요소를 보완한다.
• 적은 파라미터로 질감 분류와 이미지 주석화에서 실질적 이점을 시현한다.
• Wavelet CNNs가 실제 데이터셋에서 처음부터 학습 및 미세 조정을 통해 효과적으로 학습할 수 있음을 보인다.

제안 방법

• 합성곱(convolution)과 풀링을 일반화된 필터링(filtering) 및 다운샘플링(downsampling) 연산으로 재구성한다.
• 네트워크 내부에 다중해상도 분해를 형성하기 위해 고주파/저주파 필터의 두 번째 세트를 도입한다(웨이블릿에서 영감을 얻음).
• CNN 아키텍처 내에서 Haar wavelets를 사용하여 웨이블릿 변환을 실현한다.
• 다중해상도 가지를 융합하기 위해 dense 연결과 프로젝션 숏컷이 있는 VGG와 유사한 백본을 채택한다.
• 고정 입력 크기 224×224를 사용하고, 전역 평균 풀링(global average pooling), 배치 정규화(batch normalization), Adam 옵티마이저를 적용한다.
• 질감 및 주석화 작업으로 학습하여 효율성과 성능상의 이점을 보여준다.

실험 결과

연구 질문

• RQ1 CNN 내부에 다중해상도(웨이블릿) 분석을 삽입하면 스펙트럼 정보를 포착하는 능력이 향상되는가?
• RQ2 전통적인 CNN보다 적은 학습 가능한 파라미터를 사용하면서도 texture 분류 및 이미지 주석화에서 더 좋거나 경쟁력 있는 정확도를 Wavelet CNNs가 달성하는가?
• RQ3 웨이블릿 기반 접근법이 기존 스펙트럼 및 CNN 아키텍처(AlexNet, T-CNN 등)와 비교하여 scratch 학습 및 미세 조정 시나리오에서 얼마나 차이가 나는가?

주요 결과

• Wavelet CNNs는 kth-tips2-b 및 DTD 데이터셋에서 scratch 학습 시 AlexNet과 T-CNN보다 질감 분류 정확도가 더 높다.
• 5단계 다중해상도 분해를 사용하면 Wavelet CNNs가 kth-tips2-b에서 레벨에 따라 63.7%를, 59–63% 사이의 범위를 달성하고, DTD에서는 35.6%를 달성한다( scratch 학습 시).
• ImageNet에서 사전 학습된 경우 Wavelet CNNs는 질감 데이터셋에서 스펙트럴 및 바이리니어 풀링 베이스라인을 능가한다(예: kth-tips2-b에서 74.0% vs 최상의 비교 72.4%).
• 이미지 주석화에서 Wavelet CNNs는 IAPR-TC12에서 VGG-16 기반 RIA보다 클래스별 및 전체 지표를 개선한다(예: C-P 29.01 대 22.97; O-P 37.43 대 33.87).
• Microsoft COCO에서 Wavelet CNNs는 VGG-16 RIA 대비 정밀도/재현율/F1에서 경쟁력 있는 향상을 보인다(클래스별 및 전체).
• Wavelet CNNs는 VGG-16(138.4M) 및 기타 베이스라인에 비해 훨씬 적은 파라미터(약 18.3M)를 사용하며, 메모리 사용량은 VGG-16의 약 53.9 MB 대 232 MB 수준이다.