[논문 리뷰] Unbiasing Truncated Backpropagation Through Time

Corentin Tallec, Yann Ollivier|arXiv (Cornell University)|2017. 05. 23.

Topic Modeling참고 문헌 3인용 수 53

한 줄 요약

ARTBP는 확률적이고 가변 길이의 절단과 보상 인자를 도입하여 절단된 BPTT에서의 편향 없는 그래디언트 추정치를 제공하고 온라인 적용 가능성을 유지하며 수렴을 개선합니다. Penn Treebank 문자 단위 모델링에서 ARTBP는 절단된 BPTT에 비해 검증/테스트 성능을 약간 향상시킵니다.

ABSTRACT

Truncated Backpropagation Through Time (truncated BPTT) is a widespread method for learning recurrent computational graphs. Truncated BPTT keeps the computational benefits of Backpropagation Through Time (BPTT) while relieving the need for a complete backtrack through the whole data sequence at every step. However, truncation favors short-term dependencies: the gradient estimate of truncated BPTT is biased, so that it does not benefit from the convergence guarantees from stochastic gradient theory. We introduce Anticipated Reweighted Truncated Backpropagation (ARTBP), an algorithm that keeps the computational benefits of truncated BPTT, while providing unbiasedness. ARTBP works by using variable truncation lengths together with carefully chosen compensation factors in the backpropagation equation. We check the viability of ARTBP on two tasks. First, a simple synthetic task where careful balancing of temporal dependencies at different scales is needed: truncated BPTT displays unreliable performance, and in worst case scenarios, divergence, while ARTBP converges reliably. Second, on Penn Treebank character-level language modelling, ARTBP slightly outperforms truncated BPTT.

연구 동기 및 목표

• truncated BPTT에서의 편향 문제와 RNN 학습의 편향 없는 그래디언트 추정의 필요성에 대해 동기를 부여한다.
• 절단의 계산적 이점을 유지하면서 편향되지 않음을 달성하는 방법으로 ARTBP를 도입한다.
• 역전파에서의 확률적 절단에 대해 보상 재가중치를 도출한다.
• ARTBP 하에서 편향 없는 그래디언트 추정의 이론적 보장을 제공한다.
• 합성 과제와 펜 트리뱅의 문자 수준 언어 모델링에 대해 ARTBP를 실험적으로 검증한다.

제안 방법

• 훈련 시퀀스를 가변 절단 길이를 가지는 부분시퀀스로 분할한다.
• 무편향성을 보장하기 위해 보상 인자 1/(1 - c_t)로 역전파 방식을 수정한다(방정식 11).
• ARTBP 그래디언트 추정치가 편향되지 않음을 증명한다(제안 1, 방정식 12-13).
• 메모리와 분산 간의 균형을 맞추기 위해 절단 확률 c_t를 선택하는 방법을 논의한다(방정식 14).
• 각 부분시퀀스 이후 업데이트가 이루어지는 온라인 구현을 설명한다(섹션 5).
• 합성 과제와 Penn Treebank에서 ARTBP와 절단된 BPTT를 비교한다(섹션 6).

실험 결과

연구 질문

• RQ1 가변 길이의 확률적 절단과 적절한 보상으로 BPTT의 편향 없는 그래디언트 추정이 가능할까?
• RQ2 고정 길이의 절단 BPTT에 비해 ARTBP가 메모리 사용과 그래디언트 분산 사이에서 어떤 trade-off를 보이는가?
• RQ3 ARTBP와 절단된 BPTT가 다중 스케일 의존성 학습 및 실제 언어 모델링 과제에서 성능 차이가 있는가?
• RQ4 온라인 학습에서 ARTBP의 바이어스-분산 트레이드오프를 최적화하는 실용 가이드(예: c_t의 선택)는 무엇인가?
• RQ5 ARTBP를 전체 시퀀스를 되짚지 않고 온라인에서 적용할 수 있는가?

주요 결과

• ARTBP는 가변 절단 길이를 사용하더라도 편향 없는 그래디언트 추정을 제공한다.
• 합성 테스트에서 절단된 BPTT는 그래디언트 편향으로 수렴하지 않을 수 있는 반면 ARTBP는 안정적으로 수렴한다.
• 펜 트리뱅의 문자 수준 언어 모델링에서 ARTBP는 검증 및 테스트 오차 면에서 절단된 BPTT보다 약간 우수하다.
• ARTBP는 확률적 절단으로 인해 그래디언트 분산이 증가하지만 메모리 요구를 줄여 더 긴 유효 트레이스를 가능하게 한다.
• 고정 메모리 등가 절단(L)을 ARTBP와 비교할 때 평균 하위시퀀스 길이가 유사하도록 c_t를 선택하면 비편향적 시나리오에서 ARTBP가 더 나은 수렴 특성을 자주 보인다.