[논문 리뷰] Learning Representations Using Complex-Valued Nets

Andy M. Sarroff, Victor Shepardson외 1명|arXiv (Cornell University)|2015. 11. 19.

Neural Networks and Applications참고 문헌 16인용 수 13

한 줄 요약

이 논문은 복소수값 신경망(CVNNs)을 훈련하기 위한 프레임워크를 제안하며, 미분 가능성이 없는 활성화 함수를 포함하는 혼합 해석적 및 비해석적 활성화 함수를 통해 역전파를 가능하게 하기 위해 Wirtinger 도함수를 사용한다. 실수값 네트워크와 비교하거나 略로 떨어지지 않는 테스트 성능를 보이지만, CVNNs는 주파수 응답에서 조화적으로 간격을 둔 피크를 포함한 신호의 스펙트럼 구조를 매우 잘 대표하는 필터를 학습한다.

ABSTRACT

Complex-valued neural networks (CVNNs) are an emerging field of research in neural networks due to their potential representational properties for audio, image, and physiological signals. It is common in signal processing to transform sequences of real values to the complex domain via a set of complex basis functions, such as the Fourier transform. We show how CVNNs can be used to learn complex representations of real valued time-series data. We present methods and results using a framework that can compose holomorphic and non-holomorphic functions in a multi-layer network using a theoretical result called the Wirtinger derivative. We test our methods on a representation learning task for real-valued signals, recurrent complex-valued networks and their real-valued counterparts. Our results show that recurrent complex-valued networks can perform as well as their real-valued counterparts while learning filters that are representative of the domain of the data.

연구 동기 및 목표

• 해석적 및 비해석적 활성화 함수를 조합할 수 있는 일반 목적의 복소수값 신경망 훈련 프레임워크를 개발하는 것.
• CVNNs 훈련의 과제를 해결하는 것 — 즉, 복소수 도함수에서의 비유계 활성화 함수와 특이점 문제.
• CVNNs가 합성 신호 데이터셋에서 실수값 네트워크보다 더 의미 있는 도메인 적응 표현을 학습할 수 있는지 평가하는 것.
• Wirtinger 미적분학이 복소수 영역에서 비해석적 실해석 함수의 기반으로 하여 기울기 기반 최적화를 가능하게 하는 데서의 유용성을 입증하는 것.

제안 방법

• 비해석적 복소수 함수의 기울기를 계산하기 위해 Wirtinger 도함수를 사용하여, 해석적 및 비해석적 활성화 함수가 혼합된 네트워크에서의 역전파를 가능하게 한다.
• Wirtinger 미적분학을 적용하여 각 노드에 대해 복소수 변수와 그 켤레에 대한 두 개의 야코비안을 계산함으로써 안정적인 최적화를 가능하게 한다.
• 해석적(예: 복소수 tanh) 및 비해석적 함수를 동일한 네트워크 아키텍처 내에서 허용하는 하이브리드 활성화 함수 프레임워크를 구현한다.
• 주어진 스펙트럼 내용(조화적, 비조화적, 해석적(순간 주파수/위상) 신호 포함)을 가진 합성 데이터셋에서 순환 복소수값 및 실수값 네트워크를 훈련한다.
• 하이퍼파rameter 튜닝을 위해 학습률과 가중치 초기화 설정을 포함하여 수정된 Chainer 프레임워크를 사용하여 네트워크를 구현하고 훈련한다.
• 표현의 정밀도와 데이터 적응도 평가를 위해 학습된 필터를 크기 주파수 응답도를 통해 분석한다.

실험 결과

연구 질문

• RQ1 Wirtinger 미적분학을 사용하여 훈련된 복소수값 신경망이 시간 시리즈 신호의 표현 학습에서 실수값 네트워크를 능가할 수 있는가?
• RQ2 혼합 해석적 및 비해석적 활성화 함수는 CVNNs의 훈련 안정성과 수렴에 어떤 영향을 미치는가?
• RQ3 복소수값 네트워크는 실수값 대비판보다 더 해석 가능하거나 기저 신호 구조를 더 잘 대표하는 필터를 학습하는가?
• RQ4 활성화 함수의 특이점과 유계성은 복소수값 네트워크 훈련의 어려움에 어떤 역할을 하는가?
• RQ5 학습률과 가중치 초기화와 같은 하이퍼파rameter 설정에 대해 CVNNs는 얼마나 민감한가?

주요 결과

• 모든 데이터셋에서 복소수값 네트워크는 실수값 네트워크와 비교해 테스트 오차가 유사하거나 다소 열 劣하나, 유의미하게 뛰어나지 않았다.
• 모든 실험에서 실수값 네트워크가 더 낮은 최종 테스트 오차를 기록하여, CVNNs의 훈련 안정성 문제 해결이 여전히 과제로 남아 있음을 시사한다.
• 성능가장 열 劣함에도 불구하고, 복소수값 네트워크는 Sawtooth-Like 데이터셋에서 명확한 조화적으로 간격을 둔 주파수 피크를 가진 필터를 학습하여 강력한 도메인 적응 능력을 보였다.
• 비조화적 및 해석적 데이터셋에서 복소수 네트워크의 필터는 실수값 네트워크보다 더 높은 선택성과 더 깔끔한 주파수 응답을 보였다.
• 복소수 네트워크의 훈련 과정에서 불안정성이 나타났으며, 오차 곡선의 불연속성이 관찰되었는데, 이는 복소수 tanh 활성화 함수의 특이점 때문일 가능성이 높다.
• 하이퍼파rameter 최적화 결과, 최적 성능에 도달하는 설정이 몇 가지에 불과하여, CVNNs가 학습률과 초기화 설정에 매우 민감함을 확인했다.