[논문 리뷰] Adaptively Truncating Backpropagation Through Time to Control Gradient Bias

Christopher Aicher, Nicholas J. Foti외 1명|arXiv (Cornell University)|2019. 05. 17.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 21

한 줄 요약

이 논문은 순환 신경망에서 시간을 거쳐서 역전파하는 것의 적응형 절단 기법(Adaptive TBPTT)을 제안하며, 고정된 지연 시간을 사용하는 대신 추정된 기울기 편향에 기반해 절단 길이를 동적으로 조정한다. 기대값에서 기울기가 기하급수적으로 감쇠한다고 가정함으로써, 상대적 편향을 제어하고 SGD의 비점근 수렴성을 보장한다. 언어 모델링에서 고정된 K 값의 TBPTT보다 성능이 뛰어나면서도 편향 제어를 유지한다.

ABSTRACT

Truncated backpropagation through time (TBPTT) is a popular method for learning in recurrent neural networks (RNNs) that saves computation and memory at the cost of bias by truncating backpropagation after a fixed number of lags. In practice, choosing the optimal truncation length is difficult: TBPTT will not converge if the truncation length is too small, or will converge slowly if it is too large. We propose an adaptive TBPTT scheme that converts the problem from choosing a temporal lag to one of choosing a tolerable amount of gradient bias. For many realistic RNNs, the TBPTT gradients decay geometrically in expectation for large lags; under this condition, we can control the bias by varying the truncation length adaptively. For RNNs with smooth activation functions, we prove that this bias controls the convergence rate of SGD with biased gradients for our non-convex loss. Using this theory, we develop a practical method for adaptively estimating the truncation length during training. We evaluate our adaptive TBPTT method on synthetic data and language modeling tasks and find that our adaptive TBPTT ameliorates the computational pitfalls of fixed TBPTT.

연구 동기 및 목표

• TBPTT에서 최적의 고정된 절단 길이를 선택하는 문제를 다루며, 기울기 편향으로 인해 수렴 속도가 느려지거나 수렴하지 못할 수 있음을 해결하고자 한다.
• TBPTT에서 기울기 편향이 기하급수적으로 감쇠하는 조건을 체계적으로 정의함으로써, 적응형 절단을 통한 편향 제어를 가능하게 하고자 한다.
• 학습 중 실시간으로 기울기 편향을 추정하고 절단 길이를 이를 바탕으로 조정하는 실용적인 알고리즘을 개발하고자 한다.
• 상대적 편향이 유한한 조건 하에서 편향된 기울기를 사용할 경우 SGD의 비점근 수렴 속도를 증명하고자 한다.
• 합성 작업과 언어 모델링 벤치마크에서 방법을 실증적으로 검증하여, 편향 제어를 유지하면서도 경쟁 가능한 성능을 보여주고자 한다.

제안 방법

• 기울기 노름이 특정 지연 이후 기대값에서 기하급수적으로 감쇠하는 이론적 프레임워크를 제안하며, 이는 편향 제어를 가능하게 한다.
• 편향된 기울기와 정확한 기울기의 비율을 측정하는 상대적 편향 측정치 δ를 도입하며, δ < 1 조건이 수렴을 보장한다.
• 학습 중 미니배치 기울기를 사용하여 상대적 편향 δ를 추정하는 추정기법을 개발함으로써 실시간 적응이 가능하게 한다.
• 사용자 정의된 목표 편향 수준과 추정된 δ에 기반해 절단 길이 K를 조정하는 적응형 TBPTT 알고리즘(알고리즘 1)을 설계한다.
• 고차원의 은닉 상태에서 편향 추정을 향상시키기 위해 마할라노비스 유사 노름 또는 가중치 노름을 사용하는 방법을 제안하지만, 이는 향후 연구 과제로 남긴다.
• 고정된 초모수를 사용한 LSTMs를 사용하여 합성 복제 작업과 실제 언어 모델링(PTB, Wiki2)에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 추정된 편향에 기반해 절단 길이를 조정함으로써 TBPTT에서 기울기 편향을 제어할 수 있는가?
• RQ2 기울기 노름이 기대값에서 기하급수적으로 감쇠하는 조건은 무엇이며, 이 조건이 TBPTT에서 편향 제어를 가능하게 하는가?
• RQ3 상대적 편향 추정에 기반한 적응형 절단이 고정된 절단보다 RNN 학습에서 더 빠른 수렴과 향상된 성능을 이끌어내는가?
• RQ4 상대적 편향이 유한한 조건 하에서 편향된 기울기를 사용할 경우 SGD에 대한 비점근 수렴 보장을 확보할 수 있는가?
• RQ5 실제 언어 모델링 작업에서 최적의 고정 K 값의 TBPTT와 비교해 이 방법은 실용적으로 어떻게 성능을 내는가?

주요 결과

• 제안된 적응형 TBPTT 방법은 기울기 편향을 효과적으로 제어하지만, 고정된 K 값의 TBPTT는 학습 전반에 걸쳐 편향 제어를 유지하지 못한다.
• 합성 복제 작업과 언어 모델링(PTB 및 Wiki2) 모두에서, 적응형 방법은 최적의 고정 K 값 TBPTT 설정과 비교해 테스트 퍼플렉서티가 유사하거나 뛰어나다.
• 학습 과정에서 추정된 절단 길이 K가 빠르게 일정한 값으로 수렴함을 확인하여 효과적인 적응이 이루어졌음을 시사한다.
• 실증 결과는 기대값에서 기울기 노름이 기하급수적으로 감쇠함을 확인하였으며, 이는 가정한 조건과 일치한다. 단, 개별 기울기는 노이즈가 있을 수 있다.
• 고차원 설정에서는 유클리드 노름이 과도하게 보수적인 편향 추정을 유도할 수 있다. 향후 연구에서는 차원에 가중치를 적용한 노름(예: 마할라노비스 노름)을 고려할 필요가 있다.
• 이론적 분석을 통해 δ < 1 조건 하에서 편향된 기울기를 사용할 경우 SGD의 수렴 속도가 비편향 SGD 대비 (1−δ)−1 속도로 수렴함을 보여주며, 수렴 보장을 제공한다.