[논문 리뷰] Unbiased Online Recurrent Optimization

Corentin Tallec, Yann Ollivier|arXiv (Cornell University)|2017. 02. 16.

Stochastic Gradient Optimization Techniques인용 수 3

한 줄 요약

이 논문은 과거 활성화 상태를 되돌아가지 않음으로써 증명 가능하게 비편향된 기울기 추정을 제공하는 메모리 없는 온라인 학습 알고리즘인 Unbiased Online Recurrent Optimization (UORO)을 소개한다. 전방전파가 잘린 BPTT와 달리, UORO는 짧은 기간 및 긴 기간 의존성 간의 갈등이 있는 작업에서 기울기가 편향되거나 발산하는 문제를 피하며, 이러한 경우에도 수렴을 보장하여 $a^n b^n$ 및 먼 괄호와 같은 합성 작업에서 거의 최적의 성능을 달성하면서도 계산 오버헤드가 최소화된다.

ABSTRACT

The novel Unbiased Online Recurrent Optimization (UORO) algorithm allows for online learning of general recurrent computational graphs such as recurrent network models. It works in a streaming fashion and avoids backtracking through past activations and inputs. UORO is computationally as costly as Truncated Backpropagation Through Time (truncated BPTT), a widespread algorithm for online learning of recurrent networks. UORO is a modification of NoBackTrack that bypasses the need for model sparsity and makes implementation easy in current deep learning frameworks, even for complex models. Like NoBackTrack, UORO provides unbiased gradient estimates; unbiasedness is the core hypothesis in stochastic gradient descent theory, without which convergence to a local optimum is not guaranteed. On the contrary, truncated BPTT does not provide this property, leading to possible divergence. On synthetic tasks where truncated BPTT is shown to diverge, UORO converges. For instance, when a parameter has a positive short-term but negative long-term influence, truncated BPTT diverges unless the truncation span is very significantly longer than the intrinsic temporal range of the interactions, while UORO performs well thanks to the unbiasedness of its gradients.

연구 동기 및 목표

• 전방전파가 잘린 학습으로 인한 기울기 추정의 편향으로 인해 온라인 순환 학습에서 수렴 보장을 확보하지 못하는 문제를 해결하기 위해.
• 기본적인 활성화 상태를 저장하지 않으면서도 복잡한 순환 모델의 온라인 학습을 가능하게 하는 확장성 있고 블랙박스 호환성 있는 알고리즘을 개발하기 위해.
• 스트리밍 방식으로 비편향된 기울기 추정을 보장하면서, 확률적 기울기 하강법의 이론적 수렴 보장을 유지하기 위해.
• 비편향된 기울기 추정이 전방전파가 잘린 BPTT가 실패하거나 발산하는 상황에서 신뢰할 수 있는 학습을 가능하게 하는지 확인하기 위해.

제안 방법

• UORO는 과거 시간 단계를 되돌아가지 않는 노이즈가 주입된 비편향 샘플링 메커니즘을 사용하여 기울기 추정을 계산한다.
• 비편향 기울기 추정을 보장하기 위해 NoBackTrack(NBT)의 변종을 활용하지만, 딥 러닝 프레임워크에서 블랙박스 구현이 가능하도록 방법을 재구성한다.
• 알고리즘은 데이터를 한 번에 하나씩 순차적으로 처리하며, 현재 전방전파를 초월해 과거 입력이나 은닉 상태를 기억하지 않는다.
• 기울기 추정은 미래 경로의 분포에서 샘플링하는 스트로스틱 근사 방법을 통해 수행되며, 이는 비편향성을 유지한다.
• 계산 비용이 효율적이며, 전방전파가 잘린 BPTT와 유사하여 실시간 및 스트리밍 응용에 적합하다.
• 모델 아키텍처 수정 없이도 GRUs와 LSTMs를 포함한 임의의 순환 아키텍처를 지원한다.

실험 결과

연구 질문

• RQ1 모델의 희박성이나 복잡한 구현이 필요 없이, 온라인 순환 학습 알고리즘이 비편향된 기울기 추정을 달성할 수 있는가?
• RQ2 비편향된 기울기 추정이 짧은 기간 및 긴 기간 의존성 간의 갈등이 있는 작업에서 신뢰할 수 있는 수렴을 이끌어낼 수 있는가?
• RQ3 전방전파가 잘린 BPTT가 발산하거나 나쁜 국소 최적점으로 수렴하는 상황에서 UORO가 그에 비해 우월한 성능을 보일 수 있는가?
• RQ4 알고리즘이 아키텍처 수정 없이도 기존 딥 러닝 프레임워크에 쉽게 통합되고 확장 가능한가?

주요 결과

• $a^n b^n(1,32)$ 데이터셋에서 UORO는 LSTM을 사용할 경우 테스트 손실이 0.147 비트/문자이며, GRU를 사용할 경우 0.155로 진짜 엔트로피율인 0.14 bpc에 가까워졌다.
• 먼 괄호 작업(s=1, k=5, a=10)에서 UORO는 장기적으로 4단계 전방전파가 잘린 BPTT를 능가하여 거의 최적의 행동을 달성했고, 전방전파가 잘린 BPTT는 멈추거나 매우 느리게 학습했다.
• 16단계 전방전파가 잘린 BPTT는 LSTM을 사용할 경우 손실이 0.144 bpc였고, GRU를 사용할 경우 0.207이었지만, GRU에서는 기울기의 편향으로 인해 안정적으로 수렴하지 못했다.
• UORO는 모든 설정에서 일관되게 수렴했으며, 내재된 시간 범위를 초월해 범위를 늘려도 여전히 수렴함을 보여, 비편향 추정 자체만으로도 수렴이 충분함을 시사했다.
• 학습률 스케줄링에 대해 알고리즘의 성능가 안정적이었으며, 감소하는 학습률이 수렴을 가능하게 했고, 이와 유사한 설정에서 전방전파가 잘린 BPTT는 자주 발산했다.