[논문 리뷰] A Unified Framework of Online Learning Algorithms for Training Recurrent Neural Networks

Owen Marschall, Kyunghyun Cho외 1명|arXiv (Cornell University)|2019. 07. 04.

Machine Learning and ELM인용 수 24

한 줄 요약

이 논문은 순환 신경망(RNN) 학습을 위한 온라인 학습 알고리즘을 분류하고 분석하기 위한 통합 프레임워크를 제안한다. 이 프레임워크는 과거/미래 향하는 방향, 영향 행렬의 텐서 구조, 확률적/결정적 갱신, 그리고 해석적/수치적 해법이라는 네 가지 축을 따라 알고리즘을 정리한다. 이 프레임워크는 다양한 알고리즘 간의 개념적 연결을 드러내며, 정확한 방법(예: RTRL 또는 BPTT)과의 기울기 일치가 성능을 완전히 예측하지 못함을 보여주며, 특히 확률적 알고리즘의 경우 평가 지표를 더 잘 설계할 필요가 있음을 시사한다.

ABSTRACT

We present a framework for compactly summarizing many recent results in efficient and/or biologically plausible online training of recurrent neural networks (RNN). The framework organizes algorithms according to several criteria: (a) past vs. future facing, (b) tensor structure, (c) stochastic vs. deterministic, and (d) closed form vs. numerical. These axes reveal latent conceptual connections among several recent advances in online learning. Furthermore, we provide novel mathematical intuitions for their degree of success. Testing various algorithms on two synthetic tasks shows that performances cluster according to our criteria. Although a similar clustering is also observed for gradient alignment, alignment with exact methods does not alone explain ultimate performance, especially for stochastic algorithms. This suggests the need for better comparison metrics.

연구 동기 및 목표

• 온라인 RNN 학습 알고리즘을 체계적이고 개념적으로 바탕을 둔 프레임워크로 분류하고 비교하기 위해.
• 최근 온라인 RNN 학습 방법들이 증가함에 따라 이를 통합할 수 있는 분류 체계가 부족한 상황에서, 이러한 방법들 간의 개념적 차이를 명확히 하기 위해.
• RTRL이나 BPTT와 같은 정확한 방법과의 기울기 일치가 약한데도 불구하고 어떤 알고리즘이 잘 성능을 내는지 이해하기 위해.
• 온라인 RNN 학습에서 정확한 알고리즘과의 강한 기울기 일치가 높은 성능을 내기 위해 반드시 필요하다는 가정을 도전하기 위해.
• 현재 평가 지표의 한계를 규명하고, 시간별 기울기 유사도가 아닌 궤적 기반 비교 방법을 권장하기 위해.

제안 방법

• 프레임워크는 온라인 RNN 학습 알고리즘을 네 가지 축을 따라 분류한다: (a) 과거 향하는 vs. 미래 향하는, (b) 영향 행렬의 텐서 구조, (c) 확률적 vs. 결정적 갱신, (d) 해석적 vs. 수치적 해법.
• 기울기 계산을 표현하기 위해 텐서 분해 기법을 사용하여, RTRL, UORO, KF-RTRL, DNI, KeRNL 등의 알고리즘을 체계적으로 비교할 수 있도록 한다.
• 두 가지 합성 작업에서 실험적 평가를 수행하여 정확한 방법(RTRL 및 F-BPTT)과의 성능 및 기울기 일치도를 측정한다.
• 기울기 유사도는 쌍별 각도 일치도로 정량화하고, 성능는 학습 궤적과 최종 손실을 통해 평가한다.
• 이 프레임워크는 서로 다른 범주에서 성질을 조합하여 새로운 알고리즘을 설계하는 데도 활용 가능하며, 이를 제3.4절에서 구현한다.
• 결정적 및 확률적 근사치를 대조하여, 오차 평균화가 나쁜 순순간 기울기 일치에도 불구하고 수렴에 영향을 주는 방식을 분석한다.

실험 결과

연구 질문

• RQ1 다양한 온라인 RNN 학습 알고리즘 간의 개념적 관계는 어떻게 되며, 이러한 알고리즘들을 통합적으로 분류할 수 있는 변별 축은 무엇인가?
• RQ2 RTRL과 같은 정확한 방법과의 기울기 일치가 약한데도 불구하고 UORO나 R-KF-RTRL와 같은 일부 확률적 온라인 알고리즘이 강력한 성능을 내는 이유는 무엇인가?
• RQ3 정확한 알고리즘(RTRL 또는 BPTT)과의 기울기 일치도가 온라인 RNN 학습에서 최종 학습 성능을 얼마나 잘 예측하는가?
• RQ4 기울기 기울기 일치도가 높은 결정적 근사치인 KeRNL은 왜 확률적 대안들보다 성능이 열 劣하는가?
• RQ5 현재 시간별 기울기 일치도에 기반한 평가 지표에는 어떤 한계가 있으며, 어떤 대체 평가 지표가 필요한가?

주요 결과

• 알고리즘들이 제안된 분류 축을 따라 의미 있는 군집을 이룬다. 과거 향하는 알고리즘은 RTRL과 더 강한 일치도를 보이고, 미래 향하는 알고리즘은 F-BPTT와 유사하다. 이는 프레임워크의 개념적 일관성을 확인한다.
• RTRL와 강한 기울기 일치를 보이지만 성능이 열 劣하는 KeRNL의 사례는, 기울기 일치도만으로 성능을 예측할 수 없음을 시사하며, 특히 결정적 근사치의 경우 더욱 그렇다.
• UORO와 R-KF-RTRL는 RTRL와의 순순간 기울기 일치도가 낮음에도 불구하고 뛰어난 성능을 내며, 이는 시간에 걸쳐 오차가 평균화되어 노이즈가 많은 추정치에도 불구하고 수렴이 가능함을 시사한다.
• UORO나 R-KF-RTRL와 같은 확률적 알고리즘은 시간별 기울기 일치도가 열 떨어져도, 비편향된 추정치가 시간에 걸쳐 평균화되어 높은 성능을 유지한다. 반면 결정적 근사치는 오차가 지속되어 성능이 열 떨어진다.
• 프레임워크는 온라인 알고리즘에서 국소성(locality)이 종종 근사치의 부산물일 뿐 설계적 특성은 아니며, 알고리즘-아키텍처 공동 설계를 통해 더 나은 성능이 도출될 수 있음을 드러낸다.
• 현재 평가 지표의 핵심적 한계는 기울기 일치도가 장기적인 학습 궤적의 차이를 포착하지 못한다는 점이며, 이는 궤적 기반 비교 방법이 필요함을 시사한다.