[논문 리뷰] Spectral Representations for Convolutional Neural Networks

Oren Rippel, Jasper Snoek외 1명|arXiv (Cornell University)|2015. 06. 11.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 186

한 줄 요약

이 논문은 이산 푸리에 변환(DFT)을 활용하여 합성곱 신경망(CNN)의 스펙트럼 표현을 도입함으로써 스펙트럼 풀링과 복소계수 필터 파arametrization을 가능하게 한다. 스펙트럼 풀링은 주파수 성분을 잘라내어 차원을 감소시키며, 최대 풀링보다 더 많은 정보를 유지하면서도 출력 크기를 자유롭게 조절할 수 있다. 복소계수 스펙트럼 파arametrization은 주파수 도메인 내의 흐าก함을 활용하여 학습 수렴 속도를 2–5배로 향상시켜, 드롭아웃이나 최대 풀링 없이도 경쟁 가능한 성능을 달성한다.

ABSTRACT

Discrete Fourier transforms provide a significant speedup in the computation of convolutions in deep learning. In this work, we demonstrate that, beyond its advantages for efficient computation, the spectral domain also provides a powerful representation in which to model and train convolutional neural networks (CNNs). We employ spectral representations to introduce a number of innovations to CNN design. First, we propose spectral pooling, which performs dimensionality reduction by truncating the representation in the frequency domain. This approach preserves considerably more information per parameter than other pooling strategies and enables flexibility in the choice of pooling output dimensionality. This representation also enables a new form of stochastic regularization by randomized modification of resolution. We show that these methods achieve competitive results on classification and approximation tasks, without using any dropout or max-pooling. Finally, we demonstrate the effectiveness of complex-coefficient spectral parameterization of convolutional filters. While this leaves the underlying model unchanged, it results in a representation that greatly facilitates optimization. We observe on a variety of popular CNN configurations that this leads to significantly faster convergence during training.

연구 동기 및 목표

• 계산 효율성 이상의 모델링 및 CNN 학습을 위한 주파수 도메인을 강력한 표현 방식으로 탐색하기.
• 기존의 최대 풀링과 같은 전통적 풀링 방법에서 내재된 정보 손실과 유연하지 못한 차원 감소 문제를 해결하기.
• 스펙트럼 도메인에서 필터를 재파arametr리징하여 CNN 학습의 최적화 효율성을 향상시키기.
• 주파수 성분의 잘라내기를 통해 유연하고 해상도 제어가 가능한 차원 감소를 가능하게 하기.
• 스펙트럼 표현이 드롭아웃이나 최대 풀링 없이도 경쟁 가능한 성능을 달성할 수 있음을 보여주기.

제안 방법

• DFT를 특징 맵에 적용한 후 주파수 표현의 잘라내기를 통해 차원 감소를 이루는 스펙트럼 풀링을 제안한다.
• 필터를 주파수 도메인에서 직접 학습하고 역 DFT를 통해 공간 도메인으로 변환하는 복소계수 스펙트럼 파arametrization을 도입한다.
• DFT의 유니터리 성질을 활용하여 스펙트럼 재파arametr리징 동안 모델 용량이 그대로 유지됨을 보장한다.
• 학습 중에 주파수 성분을 무작위로 잘라내는 방식으로 확률적 정규화를 구현한다.
• 학습 수렴 속도를 비교하기 위해 Adam 옵tim자를 사용하여 공간 도메인과 스펙트럼 도메인 파arametrization 간의 성능을 분석한다.
• 이미 FFT 기반 컨벌루션을 사용하는 네트워크에서 스펙트럼 풀링을 구현할 경우, 행렬 잘라내기 외에 추가 계산이 거의 필요 없어, 계산 비용이 극히 낮다.

실험 결과

연구 질문

• RQ1 기존의 풀링 방식과 비교해 볼 때, 주파수 도메인은 CNN의 차원 감소를 위한 더 정보가 풍부하고 효율적인 표현 방식이 될 수 있는가?
• RQ2 스펙트럼 도메인에서 필터를 학습하면 CNN 학습의 최적화 역학과 수렴 속도가 향상되는가?
• RQ3 스펙트럼 풀링은 어떤 정도의 정보 손실을 견디면서도 임의의 출력 차원 크기를 가능하게 하는가?
• RQ4 스펙트럼 표현은 드롭아웃이나 최대 풀링의 필요성을 줄이거나 제거할 수 있는가?
• RQ5 스펙트럼 파arametrization은 다양한 필터 크기와 아키텍처를 가진 CNN의 최적화 지형과 수렴 행동에 어떤 영향을 미치는가?

주요 결과

• 특히 저주파수에서 신호 에너지가 집중되어 있음에 따라, 스펙트럼 풀링은 최대 풀링보다 단위 파rametr당 훨씬 더 많은 정보를 유지한다.
• 주파수 성분의 제어된 잘라내기를 통해 임의의 원하는 출력 크기를 설정할 수 있어, 비균일한 차원 감소가 가능한 탄력적인 스펙트럼 풀링을 실현한다.
• 복소계수 스펙트럼 파arametrization은 다양한 CNN 아키텍처와 필터 크기에서 학습 수렴 속도를 2–5배로 향상시킨다.
• 드롭아웃이나 최대 풀링 없이도 벤치마크 작업에서 경쟁 가능한 분류 및 근사 성능을 달성한다.
• 스펙트럼 표현은 필터 주파수 성분의 흐릿함을 활용하여 공간 도메인 표현보다 더 의미 있는 최적화 방향을 제공한다.
• 배치 정규화와 호환되며, FFT 기반 컨벌루션과 함께 사용할 경우 효율성이 유지된다.