[논문 리뷰] Training recurrent networks online without backtracking

Yann Ollivier, Tallec, Corentin외 1명|arXiv (Cornell University)|2015. 07. 28.

Neural Networks and Applications참고 문헌 5인용 수 26

한 줄 요약

논문은 순환 신경망을 위한 확장 가능한 온라인 훈련 알고리즘인 NoBackTrack을 소개한다. 이 알고리즘은 전체 파라미터 기울기의 확률적 랭크-일차 근사로 기울기의 편향 없는 메모리 없는 추정을 유지함으로써 시간에 따라 역전파하는 것을 피한다. 이 방법은 모델 크기와 선형 비례하며, 장기 시퀀스 작업에서 절단된 BPTT보다 우수한 성능을 보이며, 기울기 역전파 없이 효율적이고 실시간으로 학습이 가능하다.

ABSTRACT

We introduce the "NoBackTrack" algorithm to train the parameters of dynamical systems such as recurrent neural networks. This algorithm works in an online, memoryless setting, thus requiring no backpropagation through time, and is scalable, avoiding the large computational and memory cost of maintaining the full gradient of the current state with respect to the parameters. The algorithm essentially maintains, at each time, a single search direction in parameter space. The evolution of this search direction is partly stochastic and is constructed in such a way to provide, at every time, an unbiased random estimate of the gradient of the loss function with respect to the parameters. Because the gradient estimate is unbiased, on average over time the parameter is updated as it should. The resulting gradient estimate can then be fed to a lightweight Kalman-like filter to yield an improved algorithm. For recurrent neural networks, the resulting algorithms scale linearly with the number of parameters. Small-scale experiments confirm the suitability of the approach, showing that the stochastic approximation of the gradient introduced in the algorithm is not detrimental to learning. In particular, the Kalman-like version of NoBackTrack is superior to backpropagation through time (BPTT) when the time span of dependencies in the data is longer than the truncation span for BPTT.

연구 동기 및 목표

• 역전파를 시간에 따라 수행하는 데 발생하는 계산 및 메모리 오버헤드를 해결하기 위해 온라인, 메모리 없는 훈련을 가능하게 하는 것.
• 과거 상태와 기울기를 저장할 필요 없이 전체 역전파를 확률적이고 편향 없는 기울기 근사로 대체함으로써, 이를 통해 메모리 효율성을 확보하는 것.
• 대규모 모델에서 유지하는 데 비용이 너무 많이 드는 전체 자코비안 행렬 $ G(t) = \partial h(t)/\partial \theta $ 를 피하는 확장 가능한 RTRL 대체 방법을 개발하는 것.
• 단일 파라미터 공간 내의 탐색 방향만 유지함으로써, 동적 시스템에서 효율적인 온라인 학습을 가능하게 하는 것.
• 기울기 추정을 칼만 필터 유사 프레임워크에 통합하여 파라미터 업데이트를 개선하고, 파라미터 재매개변수화에 대한 불변성을 확보하는 것.

제안 방법

• 전체 기울기 $ G(t) = \partial h(t)/\partial \theta $ 의 랭크-일차 확률적 근사 $ \tilde{G}(t) $ 를 제안하며, 이는 $ \tilde{G}(t) = \bar{v}\bar{w}^\top + \sum_i e_i w_i^\top $ 로 구성되며, 무작위로 샘플링된 벡터들이 편향 없음을 유지하도록 한다.
• 모든 시간 단계에서 $ \mathbb{E}[\tilde{G}(t)] = G(t) $ 를 보장하여 기대값 기반 파라미터 업데이트가 진짜 기울기 방향과 일致함을 보장한다.
• 칼만 필터 유사 필터링 메커니즘을 사용하여 파라미터 $ \theta $ 를 업데이트하며, 추정된 공분산 기반의 마할라노비스 노름에 기반한 분산 최소화 스케일링 인자 $ \rho $ 를 도출한다.
• 계산 효율성을 유지하면서도 재매개변수화 불변성을 유지하기 위해 역공분산 행렬 $ J_\theta^{-1} $ 와 $ J_h $ 의 대각 행렬 근사를 사용한다.
• 역공분산 행렬 $ J_\theta^{-1} $ 와 $ J_h $ 에 기반한 노름을 사용하여 최적의 스케일링 인자 $ \bar{\rho} $ 와 $ \rho_i $ 를 계산하며, 이는 $ \tilde{G} J_\theta^{-1} \tilde{G}^\top $ 를 통해 근사된 저랭크 분산 최소화를 보장한다.
• 스케일링 계산 단계에서 역행렬 및 나눗셈 연산 중 수치적 오버플로우를 방지하기 위해 분모에 정규화를 도입한다.

실험 결과

연구 질문

• RQ1 시간에 따라 역전파 없이도 순환 신경망에 대해 편향 없는 메모리 없는 기울기 추정을 구성할 수 있는가?
• RQ2 전체 기울기 $ G(t) $ 의 확률적 랭크-일차 근사가 효과적인 온라인 학습을 위해 충분한 정확도를 유지하는가?
• RQ3 칼만 필터 유사 프레임워크는 그러한 근사 기울기를 사용하도록 적응시킬 수 있으며, 수렴성 및 불변성 성질을 유지하는가?
• RQ4 의존성의 시간 범위가 BPTT의 절단 창보다 긴 경우, NoBackTrack 알고리즘이 절단된 BPTT보다 성능이 뛰어나게 되는가?
• RQ5 모델 크기와 선형 비례하는 성능을 달성하면서도, BPTT의 $ \mathcal{O}(n^2) $ 복잡도와 RTRL의 $ \mathcal{O}(n m) $ 저장 비용을 피할 수 있는가?

주요 결과

• NoBackTrack 알고리즘은 전체 기울기 $ G(t) $ 에 대해 편향 없는 추정을 제공하며, 이는 기대값 기반 파라미터 업데이트가 진짜 기울기 방향과 일致함을 보장한다.
• 파라미터 수에 대해 선형으로 확장 가능하여, BPTT와 RTRL이 계산적으로 금기인 대규모 순환 신경망에서도 적용 가능하다.
• 소규모 실험 결과는 확률적 기울기 근사가 학습 성능에 악영향을 주지 않으며, 전체 BPTT와 유사한 수렴 행동을 보임을 확인한다.
• 칼만 필터 유사 버전의 NoBackTrack는 BPTT의 절단 창보다 의존성의 시간 범위가 긴 경우 절단된 BPTT를 능가하는 성능을 보인다.
• 추정된 공분산에서 유도된 마할라노비스 노름의 사용은 재매개변수화 불변 스케일링을 가능하게 하여 기울기 추정의 안정성과 강건성을 향상시킨다.
• 역공분산 행렬의 대각 근사를 통해 계산 효율성을 유지하면서도 전체 행렬 저장 및 역행렬 계산을 피한다.