[논문 리뷰] Training Input-Output Recurrent Neural Networks through Spectral Methods

Hanie Sedghi, Anima Anandkumar|arXiv (Cornell University)|2016. 03. 03.

Model Reduction and Neural Networks참고 문헌 27인용 수 12

한 줄 요약

이 논문은 높은 차수의 모멘트 텐서와 CP 분해를 활용하여 백프로파게이션 없이 입력-출력 순환 신경망(RNN)을 훈련하기 위한 스펙트럴 방법을 제안한다. 두 번째 차수의 모멘트의 구조를 활용하고, 효율성을 위해 텐서 스케칭을 적용함으로써, 약한 조건 하에서도 정확한 가중치 복원이 가능하며, 은닉 상태의 동역학이 낮은 질서이거나 입력 가중치가 희소한 경우 정확한 복원을 달성한다.

ABSTRACT

We consider the problem of training input-output recurrent neural networks (RNN) for sequence labeling tasks. We propose a novel spectral approach for learning the network parameters. It is based on decomposition of the cross-moment tensor between the output and a non-linear transformation of the input, based on score functions. We guarantee consistent learning with polynomial sample and computational complexity under transparent conditions such as non-degeneracy of model parameters, polynomial activations for the neurons, and a Markovian evolution of the input sequence. We also extend our results to Bidirectional RNN which uses both previous and future information to output the label at each time point, and is employed in many NLP tasks such as POS tagging.

연구 동기 및 목표

• 고차수의 모멘트 분해를 기반으로 하여 백프로파게이션 없이 입력-출력 RNN을 훈련시키는 방법을 개발함으로써, 백프로파게이션 없이 RNN 훈련의 과제를 해결한다.
• 약한 구조적 가정 하에 데이터 모멘트로부터 RNN 가중치(입력, 은닉, 출력 행렬)의 정확한 복원을 가능하게 한다.
• 고차수 모멘트 텐서 추정의 계산 복잡도를 줄이기 위해 텐서 스케칭을 활용하여 기존의 지수적 복잡도에서 $ O(m^{l+1}) $ 에서 샘플 크기의 근선형 복잡도 $ O((m + m/ ext{log} m)n) $ 으로 감소시킨다.
• 특히 낮은 질서의 은닉 상태 동역학이 존재하는 상황에서 기울기 기반 최적화의 이론적으로 탄탄한 대안을 제공한다.

제안 방법

• 이차 모멘트를 제3차 텐서로 모델링하여, 이차 RNN의 특성을 활용한다.
• 행별 크로네cker乘법과 행렬화를 사용하여 모멘트 텐서를 텐서 분해에 적합한 형태로 표현한다.
• 대칭화와 텐서 거듭제곱 방법을 통해 CP 분해를 적용하여, 기저 네트워크 파rameter에 해당하는 질서 1 성분을 복원한다.
• 고차수 모멘트 텐서의 명시적 구축을 피하기 위해 텐서 스케칭을 활용하여 계산 비용을 $ O(m^{l+1}) $ 에서 $ O((m + m/ ext{log} m)n) $ 으로 감소시킨다.
• 대칭화 및 분해 이후 선형 방정식계를 풀어 입력-은닉, 은닉-출력, 순환 가중치를 복원한다.
• 순환 가중치 행렬의 특이값이 $ rac{1}{ ext{dim}(h)} $ 의 비율로 스케일링되도록 요구함으로써, 시스템 행렬의 전치 랭크를 확보한다.

실험 결과

연구 질문

• RQ1 고차수 통계적 모멘트를 활용하여 백프로파게이션 없이 입력-출력 RNN을 훈련시킬 수 있는가?
• RQ2 이차 모멘트 텐서로부터 어떤 조건에서 이차 RNN의 가중치를 정확히 복원할 수 있는가?
• RQ3 고차수 모멘트 텐서 추정의 계산 비용을 정확도를 유지하면서 어떻게 줄일 수 있는가?
• RQ4 스펙트럴 방법을 통한 정확한 가중치 복원을 위해 필요한 구조적 가정(예: 희소성, 낮은 질서의 동역학)은 무엇이며, 그것이 충분한가?

주요 결과

• 입력-은닉 가중치 행렬이 희소하고, 순환 가중치 행렬의 특이값이 $ rac{1}{ ext{dim}(h)} $ 의 비율로 스케일링될 경우, 방법은 RNN 가중치의 정확한 복원을 달성한다.
• 이차 모멘트 $ bE[y_t igotimes S_2(x_t)] $ 가 조건부 기대값 $ bE[y_t|x_t] $ 의 헤시안과 동일함을 보여주어, 직접적으로 파rameter 복원과 연결된다.
• 텐서 스케칭은 모멘트 추정의 계산 복잡도를 $ O(m^{l+1}) $ 에서 $ O((m + m/ ext{log} m)n) $ 으로 감소시켜 스케일러블한 훈련을 가능하게 한다.
• 행렬 $ D = bE[y_t igotimes S_1(x_t)]^{-1} $ 을 통한 대칭화를 통해, 대칭 텐서 분해 알고리즘을 비대칭 RNN 아키텍처에 적용할 수 있다.
• 복원 절차는 노이즈에 강건하며, 동일한 분해 프레임워크를 재귀적으로 적용함으로써 고차수 텐서로 일반화된다.
• 알고리즘 5를 통한 실험적 검증을 통해, 제시된 가정 하에서 복원된 파rameter $ A_1, A_2, U $ 가 참값과 일치하는 것으로 확인되었다.