[논문 리뷰] Deep Learning in the Wavelet Domain

Fergal Cotter, Nick Kingsbury|arXiv (Cornell University)|2018. 11. 14.

Image and Signal Denoising Methods참고 문헌 18인용 수 14

한 줄 요약

이 논문은 이중수목 복소 웨이블릿 변환(DT-CWT)을 사용하여 웨이블릿 도메인에서 컨volution형 특징 학습을 수행하는 새로운 딥러닝 레이어를 제안한다. 이는 표준 CNN보다 훨씬 적은 파라미터로 학습 가능한 국소적이고 희박한 필터링을 가능하게 하며, CIFAR-10/100에서 거의 합성 성능에 도달한다. 이는 기울기 역전파를 통한 다중비율 웨이블릿 시스템을 통해 표준 네트워크와의 호환성과 엔드 투 엔드 학습 가능성을 입증한다.

ABSTRACT

This paper examines the possibility of, and the possible advantages to learning the filters of convolutional neural networks (CNNs) for image analysis in the wavelet domain. We are stimulated by both Mallat's scattering transform and the idea of filtering in the Fourier domain. It is important to explore new spaces in which to learn, as these may provide inherent advantages that are not available in the pixel space. However, the scattering transform is limited by its inability to learn in between scattering orders, and any Fourier domain filtering is limited by the large number of filter parameters needed to get localized filters. Instead we consider filtering in the wavelet domain with learnable filters. The wavelet space allows us to have local, smooth filters with far fewer parameters, and learnability can give us flexibility. We present a novel layer which takes CNN activations into the wavelet space, learns parameters and returns to the pixel space. This allows it to be easily dropped in to any neural network without affecting the structure. As part of this work, we show how to pass gradients through a multirate system and give preliminary results.

연구 동기 및 목표

• 픽셀 공간 컨볼루션의 대안으로 웨이블릿 도메인에서의 학습을 탐색하여 불변성과 파라미터 효율성을 향상시키는 것.
• 고정 산란 변환과 푸리에 도메인 파arameterization의 한계를 극복하기 위해 웨이블릿 도메인에서 학습 가능한 국소적 필터를 가능하게 하는 것.
• 기존 CNN 아키텍처에 구조적 변경 없이 원활하게 통합 가능한 미분 가능한 웨이블릿 기반 레이어를 설계하는 것.
• 다중비율 웨이블릿 변환을 통한 기울기 역전파를 통해 엔드 투 엔드 학습을 가능하게 하고, 복소 웨이블릿 계수의 기울기 계산을 지원하는 것.
• 표준 이미지 분류 벤치마크에서 웨이블릿 도메인 학습의 실현 가능성과 성능을 평가하는 것.

제안 방법

• 이 방법은 이중수목 복소 웨이블릿 변환(DT-CWT)을 사용하여 CNN 활성화를 웨이블릿 도메인으로 변환하며, 이는 방향 선택성과 낮은 앨리어싱을 제공한다.
• 개별 웨이블릿 하위대역에 대해 학습 가능한 복소 이득을 적용하고, 저통과 대역에는 실수 이득을 적용하여, 최소한의 파라미터로 주파수 도메인에서 국소적 필터링을 수행한다.
• 레이어는 복소 웨이블릿 계수에 대해 1×1 컨볼루션 유사 연산을 사용하여 하위대역 에너지의 공간적으로 국소화된 학습 가능한 조절을 가능하게 한다.
• 역변환의 기울기가 정방향 변환에 대해 반전된 필터를 사용한 변환과 동일하다는 것을 보여줌으로써 기울기 역전파를 가능하게 하며, 다중비율 시스템을 통한 기울기 흐름을 보장한다.
• 가중치 갱신 규칙은 출력의 기울기와 정방향 전달에서의 시간 반전 웨이블릿 계수의 컨볼루션을 사용하여 유도된다.
• 이 방법은 실수 및 복소 웨이블릿 계수 모두를 지원하며, 이론적으로 실수 및 허수 성분에 대해 별도의 기울기 갱신을 수행한다.

실험 결과

연구 질문

• RQ1 웨이블릿 도메인에서의 학습 가능한 필터가 더 적은 파라미터로 표준 CNN과 유사한 성능을 달성할 수 있는가?
• RQ2 복소 계수를 포함한 다중비율 웨이블릿 시스템을 통해 기울기 역전파를 효과적으로 구현할 수 있는가?
• RQ3 웨이블릿 도메인에서의 학습은 픽셀 공간 학습에 비해 불변성 또는 희박성 측면에서 이점을 제공하는가?
• RQ4 웨이블릿 도메인 레이어가 아키텍처 변경 없이 표준 CNN 아키텍처에 원활하게 통합될 수 있는가?
• RQ5 웨이블릿 도메인 학습의 성능은 이미지 크기와 복잡도에 따라 어떻게 스케일링되는가?

주요 결과

• 제안된 웨이블릿 도메인 레이어는 표준 CNN과 거의 동일한 검증 정확도를 달성했으며, 약간의 성능 저하 외에는 유사한 성능을 보였다.
• CIFAR-10에서, 웨이블릿 기반 모델은 전체 훈련 데이터로 5회 반복한 평균 검증 정확도 88.7%를 기록했으며, 표준 LeNet은 89.1%를 기록했다.
• CIFAR-100에서는 웨이블릿 모델이 평균 정확도 67.3%를 기록했고, 표준 모델은 68.0%를 기록하여 강력한 경쟁 성능을 입증했다.
• 표준 5×5 컨볼루션 대비 필터당 파라미터 수를 약 25배 감소시켰으며, 동일한 효과적 수신장(약 5×5 및 15×15 픽셀)을 유지했다.
• 레이어는 DT-CWT 시스템을 통해 기울기를 성공적으로 전달하여 Adam과 가중치 감쇠를 사용한 안정적인 최적화를 통한 엔드 투 엔드 학습을 가능하게 했다.
• 초기 결과에 따르면, 픽셀 도메인 비선형성(예: ReLU)과 웨이블릿 도메인 스크리닝 함수를 조합하면 성능 향상이 추가로 기대된다.