[논문 리뷰] PhaseDNN - A Parallel Phase Shift Deep Neural Network for Adaptive Wideband Learning

Wei Cai, Xiaoguang Li외 1명|arXiv (Cornell University)|2019. 05. 03.

Neural Networks and Applications참고 문헌 6인용 수 6

한 줄 요약

PhaseDNN는 광대역 함수의 고주파 성분을 균일하고 적응적으로 학습할 수 있도록 주파수 도메인에서의 단위 이동을 사용하는 병렬 딥 뉴럴 네트워크 아키텍처를 제안한다. 잔차 오차를 주파수 이동시켜 낮은 주파수로 옮김으로써 앙상블 내 각 DNN는 빠른 저주파 수렴을 달성하여 모든 주파수 대역에서 복잡한 고차원 함수를 효율적으로 근사한다.

ABSTRACT

In this paper, we propose a phase shift deep neural network (PhaseDNN) which provides a wideband convergence in approximating a high dimensional function during its training of the network. The PhaseDNN utilizes the fact that many DNN achieves convergence in the low frequency range first, thus, a series of moderately-sized of DNNs are constructed and trained in parallel for ranges of higher frequencies. With the help of phase shifts in the frequency domain, implemented through a simple phase factor multiplication on the training data, each DNN in the series will be trained to approximate the target function's higher frequency content over a specific range. Due to the phase shift, each DNN achieves the speed of convergence as in the low frequency range. As a result, the proposed PhaseDNN system is able to convert wideband frequency learning to low frequency learning, thus allowing a uniform learning to wideband high dimensional functions with frequency adaptive training. Numerical results have demonstrated the capability of PhaseDNN in learning information of a target function from low to high frequency uniformly.

연구 동기 및 목표

• 목표 함수의 고주파 성분을 학습할 때 표준 DNN의 느린 수렴 문제를 해결한다.
• DNN가 저주파 성분을 먼저 학습하는 F-원칙을 활용하여 딥 러닝에서 주파수 의존적 수렴 장벽을 극복한다.
• 기존 훈련 데이터에 위상 조절만을 사용하여도 광범위한 주파수 대역에서 균일한 학습이 가능한 확장 가능한 병렬 아키텍처를 개발한다.
• 특정 주파수 대역을 선택하거나 재정렬하여 주파수 적응형 및 공간 적응형 근사를 가능하게 한다.
• 단일 대규모 DNN에 비해 고차원 광대역 함수의 훈련 효율성과 정확도를 향상시킨다.

제안 방법

• 이전 근사 후 잔차 오차의 서로 다른 주파수 대역을 담당하는 중간 크기의 DNN들을 병렬로 구성한다.
• 잔차에 복소 지수 인자 $ e^{ ext{--}ioldsymbol{ heta}_j x} $를 곱하여 주파수 도메인에서 주파수 이동을 적용함으로써 고주파 성분을 저주파 영역으로 이동시킨다.
• 각 DNN는 위상 이동된 데이터를 훈련하여 고주파 성분을 마치 저주파 성분인 것처럼 근사한다.
• 주파수 도메인(k-공간)에서의 단위 분할을 사용하여 잔차 오차를 겹치지 않는 주파수 대역으로 분해함으로써 타겟 학습을 가능하게 한다.
• F-원칙을 활용한다: DNN가 저주파 성분을 빠르게 수렴하므로, 위상 이동을 통해 고주파 성분을 처리하더라도 각 DNN는 빠르게 훈련된다.
• 벡터화된 계산과 병렬 처리를 활용하여 훈련 속도를 향상시키며, 컨볼루션 단계는 총 훈련 시간의 약 20%를 차지한다.

실험 결과

연구 질문

• RQ1 훈련 데이터에 위상 이동을 적용함으로써 표준 DNN가 고주파 성분을 효율적으로 학습할 수 있는가? 즉, 고주파 학습 문제를 저주파 학습 문제로 변환할 수 있는가?
• RQ2 광대역 함수 근사에서 PhaseDNN 아키텍처는 단일 대규모 DNN에 비해 수렴 속도와 정확도에서 어떻게 비교되는가?
• RQ3 특정 주파수 대역에 대해서만 훈련함으로써 PhaseDNN이 주파수 적응형 학습을 어느 정도 달성할 수 있는가?
• RQ4 위상 이동된 데이터 변환 과정에서 앨리어싱을 방지하기 위한 데이터 밀도 조건은 무엇인가?
• RQ5 특정 입력 도메인 영역에 국한된 DNN를 설계함으로써 PhaseDNN 아키텍처가 공간 적응형 학습을 지원하도록 확장할 수 있는가?

주요 결과

• PhaseDNN는 전체 주파수 대역에서 테스트 오차 0.06831을 달성하여, 5000 에포크가 지난 후에도 수렴하지 못하고 손실이 약 100에 머물러 있던 단일 대규모 DNN에 비해 뚜렷이 뛰어난 성능을 보였다.
• 전체 PhaseDNN 시스템의 훈련 시간은 1790.17초(약 29.8분)였으며, 8개의 주파수 간격으로 병렬로 훈련된 개별 DNN들이 참여했다.
• PhaseDNN 아키텍처 내 각 DNN는 단지 10 에포크의 훈련만으로도 충분히 빠르게 수렴하였으며, 가장 빠른 경우 9.7초, 가장 느린 경우 34.43초가 소요되어 일관되고 신속한 수렴을 보였다.
• 메서드는 $ ext{--}205 $에서 $ 205 $까지의 고주파 성분, 특히 $ ext{--}203 $까지도 정확하게 재구성하여 테스트 플롯을 통해 정확한 복원이 가능함을 입증했다.
• 위상 이동된 훈련 데이터를 계산하기 위한 컨볼루션 단계는 총 훈련 시간의 약 20%를 차지하여 강력한 계산 효율성을 보였다.
• PhaseDNN는 DNN가 어떤 순서로든 훈련될 수 있고, 사전 지식이나 응용 요구사항에 따라 특정 주파수 또는 공간 영역에 맞추어 훈련 가능하므로 공간 및 주파수 적응형 학습을 가능하게 한다.