[논문 리뷰] Complex Gated Recurrent Neural Networks

Moritz Wolter, Angela Yao|arXiv (Cornell University)|2018. 06. 21.

Human Pose and Action Recognition참고 문헌 38인용 수 27

한 줄 요약

이 논문은 복소수 상태를 사용하고 유니터리(단위)이며 노름을 유지하는 상태 전이 행렬과 게이팅 메커니즘을 결합한 새로운 복소수 게이팅 순환 신경망(cgRNN)을 소개한다. 이 아키텍처는 안정적이고 빠른 학습을 가능하게 하며, 유사한 실수값 GRU보다 50% 적은 파rameter로 합성 작업과 인간 운동 예측에서 최고 성능을 기록한다.

ABSTRACT

Complex numbers have long been favoured for digital signal processing, yet complex representations rarely appear in deep learning architectures. RNNs, widely used to process time series and sequence information, could greatly benefit from complex representations. We present a novel complex gated recurrent cell, which is a hybrid cell combining complex-valued and norm-preserving state transitions with a gating mechanism. The resulting RNN exhibits excellent stability and convergence properties and performs competitively on the synthetic memory and adding task, as well as on the real-world tasks of human motion prediction.

연구 동기 및 목표

• 복소수 표현을 활용하여 향상된 시퀀스 모델링을 위한 안정적이고 학습 가능한 순환 신경망 아키텍처를 개발하는 것.
• 무한대 비선형성(예: modReLU)이 복소수 RNN에서 노름을 유지하는 상태 전이와 호환되는지 조사하는 것.
• 실세계 시퀀스 작업(예: 인간 운동 예측)에서 복소수 게이팅 RNN이 실수값 대비 성능을 뛰어나게 할 수 있는지 보여주는 것.
• 유니터리 상태 전이 행렬이 특히 무한대 비선형성과 조합되었을 때 학습 안정성과 수렴 성능을 크게 향상시킬 수 있는지 보여주는 것.

제안 방법

• 복소수 상태와 복소수 가중치 행렬을 사용하는 복소수 게이팅 순환 유닛(cgRNN)을 제안한다.
• 유니터리 상태 전이 행렬을 사용하여 상태의 노름을 유지함으로써 기울기 소실 및 기울기 폭발을 방지한다.
• 학습 중에 유니터리성을 유지하기 위해 스티펠 맨포일드(Stiefel manifold)에서 유니터리 행렬을 최적화한다.
• 비해석적 복소수 네트워크의 실수값 손실 함수에 대해 기울기를 계산하기 위해 위르팅어 미분법(CR-미분법)을 사용한다.
• 무한대 복소수 활성화 함수인 modReLU를 사용하며, 이는 유니터리 전이와 조합되었을 때 유한한 대안보다 뛰어난 성능을 보인다.
• TensorFlow와 같은 표준 딥러닝 프레임워크를 사용해 네트워크를 구현함으로써 실용적인 구현과 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 노름을 유지하는 상태 전이와 함께 무한대 비선형성인 modReLU를 복소수 RNN에서 효과적으로 사용할 수 있는가?
• RQ2 유니터리 상태 전이 행렬은 복소수 RNN의 학습 안정성과 수렴에 어떤 영향을 미치는가?
• RQ3 복소수 게이팅 RNN은 파arameter 수를 줄였을 때 합성 시퀀스 작업(메모리 및 덧셈 작업)에서 최고 성능을 낼 수 있는가?
• RQ4 실수값 기반 모델 대비 실세계 시퀀스 모델링(예: 인간 운동 예측)에 대해 cgRNN은 잘 일반화되는가?
• RQ5 RNN에서 복소수 표현을 사용할 경우 성능과 효율성 사이의 상충 관계는 어떠한가?

주요 결과

• cgRNN은 덧셈 작업에서 최고 성능을 기록하고, 메모리 작업에서는 경쟁력 있는 결과를 내며 기존 RNN과 GRU를 모두 능가한다.
• 유니터리 상태 전이 행렬을 사용할 경우, 무한대 비선형성인 modReLU는 유한한 비선형성인 Hirose tanh보다 합성 작업 전반에서 뚜렷이 뛰어난 성능을 보인다.
• 인간 운동 예측 작업에서 cgRNN은 180만 개의 파arameter로 최고 성능을 기록했으며, 실수값 GRU 기반 모델의 340만 개 파arameter보다 훨씬 적다.
• 운동 카테고리 전반에서 예측 오차를 평균 15% 감소시켰으며, 파arameter 수를 반으로 줄였다.
• 유니터리 행렬을 사용한 학습은 비선형성의 종류에 관계없이 더 빠르고 부드러운 수렴을 이끌어낸다.
• 음악 변환 작업에서 53%의 정확도를 달성하여 복소수 입력에서 의미 있는 특징을 추출할 수 있음을 보여주지만, 복소수 CNN의 최고 성능(72.9%)에는 미치지 못한다.