[논문 리뷰] Feedforward and Recurrent Neural Networks Backward Propagation and Hessian in Matrix Form

Maxim Naumov|arXiv (Cornell University)|2017. 09. 16.

Neural Networks and Applications참고 문헌 28인용 수 8

한 줄 요약

이 논문은 피드포워드 신경망과 순환 신경망에 대해 백프로파게이션과 헤시안 행렬 계산을 행렬 형태로 제시한다. 여기서는 가중치 기울기가 $ t $ 개의 시간 단계에 걸쳐 랭크-$ t $ 행렬임을 도출하며, 헤시안은 랭크-1 및 $ W^TAW $ 행렬의 $ t^2 $ 개의 크로네cker 곱의 합으로 표현된다. 또한 미니배치 업데이트가 랭크-$ rt $임을 보이며, 와일의 정리와 특이값 부등식을 활용해 헤시안의 고유값에 대한 경계를 도출한다.

ABSTRACT

In this paper we focus on the linear algebra theory behind feedforward (FNN) and recurrent (RNN) neural networks. We review backward propagation, including backward propagation through time (BPTT). Also, we obtain a new exact expression for Hessian, which represents second order effects. We show that for $t$ time steps the weight gradient can be expressed as a rank-$t$ matrix, while the weight Hessian is as a sum of $t^{2}$ Kronecker products of rank-$1$ and $W^{T}AW$ matrices, for some matrix $A$ and weight matrix $W$. Also, we show that for a mini-batch of size $r$, the weight update can be expressed as a rank-$rt$ matrix. Finally, we briefly comment on the eigenvalues of the Hessian matrix.

연구 동기 및 목표

• 피드포워드 및 순환 신경망의 헤시안에 대해 선형대수학을 활용해 정확한 행렬 표현을 유도하는 것.
• FNN 및 RNN에 대해 가중치 기울기와 업데이트 규칙을 압축된 행렬 형태로 표현하는 것.
• 헤시안 행렬의 크로네cker 곱과 랭크-1 성분에 기반한 구조를 분석하는 것.
• 와일의 정리와 특이값 성질을 활용해 헤시안의 고유값에 대한 경계를 도출하는 것.
• 헤시안과 기울기의 구조를 바탕으로 향후 새로운 최적화 알고리즘 개발을 가능하게 하는 것.

제안 방법

• FNN 및 RNN에 대해 백프로파게이션과 시간을 거슬러 내려가는 백프로파게이션(BPTT)을 행렬 형태로 유도한다.
• RNN의 경우 $ t $ 개의 시간 단계에 걸쳐 가중치 기울기를 랭크-$ t $ 행렬로 표현하고, FNN의 경우 랭크-1로 표현한다.
• 헤시안을 랭크-1 행렬과 $ W^TAW $ 유형의 항들의 $ t^2 $ 개의 크로네cker 곱의 합으로 표현한다.
• 와일의 정리와 특이값 부등식을 활용해 헤시안 행렬의 고유값을 경계한다.
• 헤시안을 분해하고 스펙트럼 성질을 분석하기 위해 보조 대칭 행렬 $ B^{(k,t,s, heta)} $ 를 도입한다.
• 프로베누스 노름 기반의 손실을 적용하고, 랭크-$ rt $ 행렬로 표현되는 미니배치 업데이트를 압축된 형태로 유도한다.

실험 결과

연구 질문

• RQ1 피드포워드 또는 순환 신경망의 헤시안을 정확한 행렬 형태로 어떻게 표현할 수 있는가?
• RQ2 시간 단계 $ t $ 동안 RNN의 가중치 기울기와 헤시안의 랭크 구조는 어떻게 되는가?
• RQ3 헤시안 행렬의 고유값은 네트워크의 활성화 패턴과 가중치 행렬과 어떻게 관련이 있는가?
• RQ4 헤시안은 크로네cker 곱과 같은 구조적 성분들의 합으로 분해될 수 있는가?
• RQ5 행렬 부등식을 활용해 헤시안 고유값에 대해 가장 날카로운 경계는 무엇인가?

주요 결과

• RNN의 경우 $ t $ 개의 시간 단계에 걸쳐 가중치 기울기는 랭크-$ t $ 행렬이며, FNN의 경우 랭크-1이다.
• RNN의 경우 $ t $ 개의 시간 단계에 걸쳐 헤시안 행렬은 랭크-1 및 $ W^TAW $ 행렬의 $ t^2 $ 개의 크로네cker 곱의 합으로 표현된다.
• 크기가 $ r $ 인 미니배치의 경우, 가중치 업데이트는 랭크-$ rt $ 행렬이 되며, 이는 효율적인 저랭크 근사화를 가능하게 한다.
• 헤시안의 고유값은 와일의 정리와 특이값 부등식을 활용해 경계가 도출되었으며, 이 경계는 활성화 노름과 더 작은 행렬의 고유값에 따라 달라진다.
• 헤시안의 고유값은 $ ho_{q}(H_w^{(k,t)}) riangleq ho_q(B^{(k,t)}) + ext{보정 항} $ 을 만족하며, 보정 항은 $ ilde{C}^{(k,t,s, heta)} $ 와 활성화 노름을 통해 유계로 간주된다.
• 만약 $ s = heta = t $ 이면, 헤시안 항 $ B^{(k,t)} $ 의 고유값은 $ ext{span}ig(0, || extbf{z}^{(k-1,t)}||_2^2 imes ext{eigenvalues of } ilde{C}^{(k,t,s,s)} ig) $ 를 이루며, 영 고유값의 중복도는 $ (n-1)m $ 이다.