[논문 리뷰] Approximating Real-Time Recurrent Learning with Random Kronecker Factors

Asier Mujika, Florian Meier외 1명|arXiv (Cornell University)|2018. 05. 28.

Domain Adaptation and Few-Shot Learning인용 수 19

한 줄 요약

이 논문은 실시간 순환 학습(RTRL) 기울기를 근사하기 위해 크로네커 곱 분해를 사용하는 메모리 효율적이고 편향이 없는 온라인 학습 알고리즘인 KF-RTRL을 제안한다. 이 알고리즘은 안정적이고 노이즈가 적은 기울기를 제공하며, 장기 시퀀스 작업에서 TBPTT 성능을 재현한다. 이는 절단된 역전파를 사용하지 않는 실용적인 대안을 제공한다.

ABSTRACT

Despite all the impressive advances of recurrent neural networks, sequential data is still in need of better modelling. Truncated backpropagation through time (TBPTT), the learning algorithm most widely used in practice, suffers from the truncation bias, which drastically limits its ability to learn long-term dependencies.The Real Time Recurrent Learning algorithm (RTRL) addresses this issue, but its high computational requirements make it infeasible in practice. The Unbiased Online Recurrent Optimization algorithm (UORO) approximates RTRL with a smaller runtime and memory cost, but with the disadvantage of obtaining noisy gradients that also limit its practical applicability. In this paper we propose the Kronecker Factored RTRL (KF-RTRL) algorithm that uses a Kronecker product decomposition to approximate the gradients for a large class of RNNs. We show that KF-RTRL is an unbiased and memory efficient online learning algorithm. Our theoretical analysis shows that, under reasonable assumptions, the noise introduced by our algorithm is not only stable over time but also asymptotically much smaller than the one of the UORO algorithm. We also confirm these theoretical results experimentally. Further, we show empirically that the KF-RTRL algorithm captures long-term dependencies and almost matches the performance of TBPTT on real world tasks by training Recurrent Highway Networks on a synthetic string memorization task and on the Penn TreeBank task, respectively. These results indicate that RTRL based approaches might be a promising future alternative to TBPTT.

연구 동기 및 목표

• 정확한 RTRL의 높은 계산 비용과 메모리 요구량으로 인해 실용적 사용이 제한되는 문제를 해결하기 위해.
• 기존의 RTRL 근사 방법인 UORO가 기울기 노이즈 문제로 인해 안정적인 학습과 성능 향상을 방해하는 문제를 해결하기 위해.
• 기울기 편향 없음을 유지하면서 노이즈를 줄여 일반화 성능을 향상시키는 메모리 효율적인 온라인 학습 알고리즘을 개발하기 위해.
• 절단된 역전파를 사용하지 않고도 순환 신경망에서 장기 의존성을 효과적으로 학습할 수 있도록 하기 위해.

제안 방법

• RTRL에서 피셔 정보 행렬을 근사하기 위해 크로네커 곱 분해를 적용하여 기울기 계산을 저랭크 업데이트로 줄이기.
• 구조적 분해를 사용하여 전체 기울기 계산 경로를 유지하면서도 저장 및 계산 복잡도를 크게 감소시키기.
• 각 새로운 시간 단계마다 크로네커 요소를 점진적으로 업데이트함으로써 온라인 학습 능력을 유지하기.
• 요소 분해 근사를 통해 정확한 RTRL 업데이트 방향을 유지함으로써 기울기 편향 없음을 확보하기.
• 크로네커 구조를 통해 근사 오차를 제약하여 기울기 노이즈를 제어함으로써, UORO보다 渐近적으로 더 작은 노이즈를 얻기.
• 실제 시퀀스 모델링 벤치마크에서의 실험적 평가를 위해 KF-RTRL을 순환 하이웨이 네트워크에 통합하기.

실험 결과

연구 질문

• RQ1 크로네커 분해를 사용하여 RTRL 기울기의 메모리 효율적이고 편향 없는 근사를 만들 수 있는가?
• RQ2 제안된 KF-RTRL 방법은 특히 장기 학습 시퀀스에서 UORO보다 기울기 노이즈를 줄이는가?
• RQ3 KF-RTRL는 순환 신경망에서 장기 의존성을 효과적으로 학습할 수 있는가? TBPTT 성능을 재현하는가?
• RQ4 KF-RTRL는 언어 모델링 및 합성 기억 작업과 같은 실제 시퀀스 모델링 과제에서 어떻게 성능을 내는가?

주요 결과

• KF-RTRL는 기울기 추정에서 편향이 없으며, RTRL의 이론적 정확성을 유지하면서도 계산 비용을 크게 줄였다.
• 이론적 분석을 통해 KF-RTRL의 기울기 노이즈는 UORO보다 시간이 지남에 따라 渐近적으로 더 작고 안정적임을 입증하였다.
• 합성 문자열 기억 작업에서 KF-RTRL는 장기 의존성을 성공적으로 포착하여 장기간 시퀀스에서 학습할 수 있음을 보였다.
• Penn TreeBank 언어 모델링 과제에서 KF-RTRL는 TBPTT 성능에 거의 근접한 성능을 달성하여 높은 실용성 잠재력을 보였다.
• 정확한 RTRL에 비해 KF-RTRL는 메모리 및 런타임 요구량을 줄여 대규모 RNN의 온라인 학습을 가능하게 하였다.
• 실험 결과는 이론적 노이즈 감소가 UORO에 비해 더 안정적이고 효과적인 학습으로 이어짐을 확인하였다.