[논문 리뷰] On the Variance of Unbiased Online Recurrent Optimization

Tim Cooijmans, James Martens|arXiv (Cornell University)|2019. 02. 06.

Machine Learning and ELM참고 문헌 26인용 수 6

한 줄 요약

이 논문은 온라인 순환 신경망 훈련을 위한 비편향 온라인 순환 최적화(uoro) 알고리즘의 분산을 분석하며, 기울기 추정 정확도를 향상시키기 위해 새로운 행렬 기반 분산 감소 기법을 제안한다. 이 방법은 uoro에서 사용하는 랜덤 프로젝션의 구조를 최적화하여 분산을 감소시키며, uoro와 노이즈를 주입한 REINFORCE 추정기 사이의 이론적 연결을 수립한다.

ABSTRACT

The recently proposed Unbiased Online Recurrent Optimization algorithm (UORO, arXiv:1702.05043) uses an unbiased approximation of RTRL to achieve fully online gradient-based learning in RNNs. In this work we analyze the variance of the gradient estimate computed by UORO, and propose several possible changes to the method which reduce this variance both in theory and practice. We also contribute significantly to the theoretical and intuitive understanding of UORO (and its existing variance reduction technique), and demonstrate a fundamental connection between its gradient estimate and the one that would be computed by REINFORCE if small amounts of noise were added to the RNN's hidden units.

연구 동기 및 목표

• 장기적이거나 무한한 길이의 시퀀스에서 기울기 추정의 높은 분산 문제를 해결한다.
• RNN에 대한 비편향 온라인 기울기 추정을 제공하는 uoro 알고리즘의 효율성과 안정성을 향상시킨다.
• uoro의 기울기 추정 메커니즘과 기존의 분산 감소 방법에 대한 더 깊이 있는 이론적이고 직관적인 이해를 제공한다.
• uoro와 다른 정책 기반 강화 학습 방법, 특히 히든 상태에 흐름이 있는 REINFORCE와의 관계를 탐색한다.
• 구조적 제약 조건 하에서 uoro 유사 기울기 추정기의 분산을 분석하고 최소화하기 위한 프레임워크를 개발한다.

제안 방법

• 자동 미분 원리와 RNN 내 신용 할당 원리를 활용하여 uoro 알고리즘의 새로운 더 직관적인 표현을 유도한다.
• uoro의 분산 감소에서 스칼라 계수를 행렬 기반 변환으로 확장하여 기울기 상관관계를 더 잘 포착한다.
• 시간에 따라 누적된 uoro 기울기 추정치의 총 분산을 계산하기 위한 이론적 프레임워크를 개발한다. 이를 통해 체계적인 분석이 가능해진다.
• 제안된 프레임워크 내에서 폐쇄형 해를 사용하여 구조적 제약 조건 하에서 최적의 분산 감소 행렬을 유도한다.
• 가중치 기울기의 랭크-일치 구조를 활용하는 uoro의 변종을 제안하며, 이는 은닉 유닛 수에 비례하는 비율로 분산을 감소시킨다.
• RNN 히든 유닛에 작은 노이즈를 주입했을 때 uoro와 REINFORCE 추정기 사이의 공식적 연결을 수립하며, 노이즈 감소 전략 하에서 REINFORCE 추정기가 uoro 추정기와 평균이 0인 항(분산 무한대)으로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 uoro 기울기 추정기의 분산은 시퀀스 길이에 따라 어떻게 변화하며, 불안정성에 기여하는 구조적 요인은 무엇인가?
• RQ2 uoro의 기존 분산 감소 기법에서 스칼라 계수를 행렬 기반 변환으로 대체함으로써 성능 향상을 도모할 수 있는가?
• RQ3 RNN 히든 유닛에 노이즈를 주입했을 때, uoro와 REINFORCE 정책 기반 기울기 추정기 사이의 근본적인 관계는 무엇인가?
• RQ4 실제로 uoro의 분산은 표준 백프로파게이션 스트림(Backpropagation Through Time, BPTT)과 실시간 순환 학습(RTRL)에 비해 어떻게 비교되는가?
• RQ5 RNN 가중치 기울기의 랭크-일치 구조를 활용하여, 계산 비용을 과도하게 증가시키지 않으면서도 더 낮은 분산을 갖는 uoro의 변종을 설계할 수 있는가?

주요 결과

• 제안된 행렬 기반 분산 감소 기법은 이론적으로나 실험적으로 uoro의 기울기 분산을 크게 감소시키며, 기울기 추정치의 공분산 구조를 더 잘 포착함으로써 효과를 발휘한다.
• uoro의 분산은 노이즈가 주입된 REINFORCE 추정기와 분석적으로 연결되며, 노이즈 감소 전략 하에서 REINFORCE 추정기는 uoro 추정기와 평균이 0인 항(분산 무한대)으로 수렴한다.
• 가중치 기울기의 랭크-일치 성격을 활용하는 uoro의 변종은 은닉 유닛 수의 순서에 비례하는 비율로 분산을 감소시키며, 이는 유사한 계산 시간 증가를 수반한다.
• 개발된 이론적 프레임워크를 통해 uoro 유사 추정기의 시간에 따른 총 분산을 정확히 계산할 수 있으며, 이는 구조적 제약 조건 하에서 분산 감소 행렬의 최적화를 가능하게 한다.
• 실험적 평가 결과, 새로운 분산 감소 방법이 원래 uoro 및 기준 방법 대비 훈련 안정성과 수렴 속도 향상에 기여함을 확인하였다.
• 분석 결과, 원래 uoro의 분산 감소에서 사용된 스칼라 계수들이 최적화되지 않았으며, 행렬 확장이 진정한 기울기 구조와 더 잘 일치함을 밝혀냈다.