[논문 리뷰] Optimal Kronecker-Sum Approximation of Real Time Recurrent Learning

Frederik Benzing, Marcelo Matheus Gauy외 3명|arXiv (Cornell University)|2019. 02. 11.

Machine Learning in Healthcare인용 수 5

한 줄 요약

이 논문은 실시간 순환 학습(RTRL)의 새로운 저분산 근사인 최적의 크로네커합 근사(OK)를 소개한다. OK는 크로네커 기반 RTRL 근사의 한 클래스 내에서 이론적으로 최적의 성능을 달성하며, 펜 트리뱅크 벤치마크에서 TBPTT 성능을 재현하고, 합성 기억 작업에서는 이를 초월하여 실증적으로 근시성 노이즈와 효과적인 온라인 학습을 입증한다.

ABSTRACT

One of the central goals of Recurrent Neural Networks (RNNs) is to learn long-term dependencies in sequential data. Nevertheless, the most popular training method, Truncated Backpropagation through Time (TBPTT), categorically forbids learning dependencies beyond the truncation horizon. In contrast, the online training algorithm Real Time Recurrent Learning (RTRL) provides untruncated gradients, with the disadvantage of impractically large computational costs. Recently published approaches reduce these costs by providing noisy approximations of RTRL. We present a new approximation algorithm of RTRL, Optimal Kronecker-Sum Approximation (OK). We prove that OK is optimal for a class of approximations of RTRL, which includes all approaches published so far. Additionally, we show that OK has empirically negligible noise: Unlike previous algorithms it matches TBPTT in a real world task (character-level Penn TreeBank) and can exploit online parameter updates to outperform TBPTT in a synthetic string memorization task. Code availiable on github.

연구 동기 및 목표

• 기존 RTRL 근사에서 높은 계산 비용과 노이즈 문제를 해결하면서도, 잘리지 않은 기울기 계산을 유지한다.
• 크로네커합 기반 근사의 한 클래스 내에서 이론적으로 최적인 RTRL 근사 방법을 개발한다. 이는 분산을 최소화한다.
• 제안된 방법이 실제 세계 및 합성 과제에서 TBPTT와 동등하거나 이를 초월하는 성능을 보이며 효과적인 온라인 훈련을 가능하게 함을 입증한다.
• RTRL 기울기의 비편향, 저랭크 크로네커 인수 근사의 이론적 한계를 탐구한다.
• 표준 RNN, LSTM, RHN에 적용 가능한 실용적이고 메모리 및 런타임 효율적인 RTRL 대체 방법의 가능성 여부를 조사한다.

제안 방법

• 낮은 랭크 행렬의 크로네커 곱의 합을 사용하여 RTRL 기울기의 새로운 근사를 제안함으로써 효율적인 계산을 가능하게 한다.
• 비편향 근사 중에서 도달 가능한 최소 분산을 보장하는 크로네커 인수에 대한 새로운 온라인 업데이트 절차를 도입한다.
• 에크하르트-영 정리를 활용하여 기울기 행렬의 최적 저랭크 근사를 구성함으로써 프로베니우스 노름 오차를 최소화한다.
• 배치 요소당 TBPTT의 계산 비용을 재현하면서도 낮은 메모리 사용을 유지하는 변형인 크로네커삼중곱(KTP)을 설계한다.
• 이론적 분산 한계와 기준 과제에서의 실증적 비교를 통해 OK와 KTP를 구현하고 분석한다.
• 분산 분석과 기울기 근사 품질 지표를 사용하여, 다양한 네트워크 크기와 훈련 단계에서 OK의 낮은 노이즈를 검증한다.

실험 결과

연구 질문

• RQ1 비편향 근사 중에서 증명 가능한 최소 분산을 갖는 크로네커합 기반 RTRL 기울기 근사를 구성할 수 있는가?
• RQ2 제안된 최적의 크로네커합(OK) 근사가 실제 세계의 순차적 모델링 과제에서 TBPTT 성능과 비교 가능한가?
• RQ3 OK가 온라인 파rameter 업데이트를 효과적으로 활용하여 장기 의존성 학습이 요구되는 과제에서 TBPTT를 초월할 수 있는가?
• RQ4 훈련 전반에 걸쳐 진짜 RTRL 기울기는 저랭크 크로네커합 구조로 얼마나 잘 근사될 수 있는가?
• RQ5 OK와 비교할 때 KTP 변형의 계산 효율성과 근사 노이즈 사이의 상충 관계는 어떠한가?

주요 결과

• OK는 실증적으로 근시성 노이즈를 보이며, 문자 수준의 펜 트리뱅크 벤치마크에서 TBPTT 성능을 재현한다. 이는 이전의 노이즈가 심한 근사보다 중대한 향상이다.
• OK는 온라인 파rameter 업데이트를 효과적으로 활용하여 합성 문자열 기억 과제에서 TBPTT를 초월한다. 이는 장기 의존성 학습에서 뛰어난 성능을 보임을 시사한다.
• 분산 분석 결과, OK는 네트워크 크기가 더 큰 경우에도 낮은 노이즈를 유지하며, KF-RTRL-AVG와 비교해 근사 오차가 천천히 감소함을 보였다.
• 편향된 OK의 변형(16-B-OK)은 편향이 없는 16-U-OK와 거의 동일한 성능을 보이며, 진짜 기울기가 16개의 크로네커 인수의 합으로 잘 근사될 수 있음을 시사한다.
• 제안된 방법은 그 클래스 내에서 이론적으로 최적이며, 비편향 크로네커합 근사 중에서 분산을 최소화한다.
• KTP는 배치 요소당 TBPTT 수준의 런타임과 메모리 사용을 달성하지만, 더 높은 노이즈를 보이며, 더 긴 시퀀스에서는 OK에 비해 성능이 제한됨을 보였다.