[논문 리뷰] Hartley Spectral Pooling for Deep Learning

Hao Zhang, Jianwei Ma|arXiv (Cornell University)|2018. 10. 07.

Neural Networks and Applications참고 문헌 35인용 수 16

한 줄 요약

이 논문은 컨volutional 네트워크(CNNs)에서 기존의 최대 풀링 또는 평균 풀링, 또는 스트라이드 컨볼루션을 대체하기 위해 특징 맵을 하르틀리 주파수 도메인으로 변환하고 고주파 성분을 잘라내며 다시 변환하는 실수값 주파수 도메인 처리 방법인 하르틀리 스펙트럴 풀링(HSP)을 제안한다. HSP는 전통적인 풀링 방식보다 더 많은 구조적 정보를 유지하여 MNIST, 패션-MNIST, CIFAR-10에서 더 빠른 수렴 속도와 향상된 정확도를 달성한다. MNIST에서는 테스트 오차가 0.32%로, 푸리에 기반 방법에서 사용하는 복소수 산술을 피함으로써 계산의 복잡성을 줄였다.

ABSTRACT

In most convolution neural networks (CNNs), downsampling hidden layers is adopted for increasing computation efficiency and the receptive field size. Such operation is commonly so-called pooling. Maximation and averaging over sliding windows (max/average pooling), and plain downsampling in the form of strided convolution are popular pooling methods. Since the pooling is a lossy procedure, a motivation of our work is to design a new pooling approach for less lossy in the dimensionality reduction. Inspired by the Fourier spectral pooling(FSP) proposed by Rippel et. al. [1], we present the Hartley transform based spectral pooling method in CNNs. Compared with FSP, the proposed spectral pooling avoids the use of complex arithmetic for frequency representation and reduces the computation. Spectral pooling preserves more structure features for network's discriminability than max and average pooling. We empirically show that Hartley spectral pooling gives rise to the convergence of training CNNs on MNIST and CIFAR-10 datasets.

연구 동기 및 목표

• 최대 풀링 또는 평균 풀링보다 더 적은 정보 손실을 유발하는 차원 축소 방법을 설계하여 CNN에서 더 많은 구조적 정보를 유지하고자 한다.
• 푸리에 기반과 같은 복소수 주파수 도메인 풀링의 한계를 극복하고자 하며, 이는 허수 성분 처리와 켤레 대칭성 보정이 필요하기 때문이다.
• 실수값 주파수 변환을 사용하는 하르틀리 변환을 기반으로 한 실수값 대체 방법을 제안하여 계산 효율성과 표준 CNN 아키텍처와의 호환성을 유지하고자 한다.
• 더 많은 주파수 도메인 정보를 유지할 경우 딥 네트워크의 학습 수렴 속도와 일반화 성능 향상이 이루어지는지 조사하고자 한다.
• 푸리에 기반 및 DCT 기반 스펙트럴 풀링과 비교하여 HSP의 성능 및 효율성을 표준 최대/평균 풀링 및 스트라이드 컨볼루션과 비교하고자 한다.

제안 방법

• 각 특징 맵에 이산 하르틀리 변환(DHT)을 적용하여 공간 데이터를 실수값 주파수 성분으로 변환한다.
• DHT 스펙트럼의 고주파 성분을 잘라내어 저통과 필터링을 수행하고, 저주파 성분만 유지한다.
• 잘라낸 스펙트럼을 역변환하여 차원이 감소한 공간 도메인의 특징 맵을 생성한다.
• 하르틀리 변환은 순수하게 실수값으로 작동하므로 복소수 산술을 완전히 회피하여 구현을 단순화하고 계산 오버헤드를 감소시킨다.
• 특정 차원 축소 단계에서 스트라이드 컨볼루션 또는 풀링 레이어를 HSP 레이어로 대체하여 잔차 네트워크(ResNet)에 통합한다.
• 각 HSP 레이어의 출력 차원은 구성 가능하며(예: 20×20, 12×12, 4×4) 공간 축소 비율을 탄력적으로 제어할 수 있다.

실험 결과

연구 질문

• RQ1 하르틀리 변환을 사용한 스펙트럴 풀링이 최대 풀링 또는 평균 풀링보다 특징 보존과 분류 정확도 측면에서 더 우수한가?
• RQ2 표준 풀링 또는 스트라이드 컨볼루션과 비교해 하르틀리 스펙트럴 풀링이 딥 네트워크에서 학습 수렴 속도와 안정성 향상에 기여하는가?
• RQ3 정확도, 학습 시간, 파라미터 효율성 측면에서 하르틀리 스펙트럴 풀링은 푸리에 기반 및 DCT 기반 스펙트럴 풀링과 비교해 어떻게 성능을 내는가?
• RQ4 스펙트럴 풀링에서 실수값 변환을 사용할 경우 복소수 산술과 켤레 대칭 보정이 필요 없어지며, 이는 구현을 단순화하는가?
• RQ5 현대적인 잔차 네트워크에 HSP를 아키텍처의 대대적 개조 없이 효과적으로 통합할 수 있으며, 일반화 성능을 유지하거나 향상시키는가?

주요 결과

• 하르틀리 스펙트럴 풀링(HSP)은 MNIST에서 테스트 오차 0.32%를 기록하여 ResNet20(0.36%) 및 ResNet16(0.36%)를 초월했으며, 파라미터 수를 15% 감소시켰다.
• 패션-MNIST에서는 HSP가 테스트 오차를 6.26%(최고 성능)로 줄였고, ResNet20의 6.91%보다 우수했으며, 에포크당 학습 시간이 30% 증가했다.
• CIFAR-10에서는 HSP가 테스트 오차 8.63%를 기록하여 ResNet16(8.87%) 및 DCTSP-ResNet15(8.81%)를 뛰어넘었지만, 학습 시간이 약 1000초 더 소요졌다.
• 학습 곡선을 통해 초기 학습 단계에서 HSP가 더 빠른 수렴을 이끌었으며, 이는 최적화 역학 향상의 증거로 볼 수 있다.
• DCTSP보다 약간 낮은 정확도를 보였지만, HSP는 훨씬 더 빠른 성능을 보였으며, 패션-MNIST에서는 DCTSP의 약 절반, CIFAR-10에서는 그 이하의 학습 시간을 기록했다.
• 이 방법은 더 많은 주파수 도메인 정보를 유지할 경우 딥 네트워크에서 특징의 구분 능력 향상과 더 나은 일반화 성능 향상에 기여함을 입증했다.