[논문 리뷰] Sparse Attentive Backtracking: Long-Range Credit Assignment in Recurrent Networks

Nan Rosemary Ke, Anirudh Goyal외 5명|arXiv (Cornell University)|2017. 11. 07.

Advanced Graph Neural Networks참고 문헌 24인용 수 8

한 줄 요약

이 논문은 순환망을 위한 생물학적으로 영감을 받은 학습 알고리즘인 희소 주의적 후진 전파(Sparse Attentive Backtracking, SAB)를 제안한다. SAB는 시간적으로 먼 주의 가중치가 부여된 은닉 상태를 선택적으로 후진 전파하여, 전체 BPTT 없이도 효과적인 장거리 책임 할당을 가능하게 한다. SAB는 시퀀스 모델링 작업에서 전체 BPTT와 유사한 성능를 달성하면서도, 절단된 BPTT와 유사한 계산 효율성을 유지한다.

ABSTRACT

A major drawback of backpropagation through time (BPTT) is the difficulty of learning long-term dependencies, coming from having to propagate credit information backwards through every single step of the forward computation. This makes BPTT both computationally impractical and biologically implausible. For this reason, full backpropagation through time is rarely used on long sequences, and truncated backpropagation through time is used as a heuristic. However, this usually leads to biased estimates of the gradient in which longer term dependencies are ignored. Addressing this issue, we propose an alternative algorithm, Sparse Attentive Backtracking, which might also be related to principles used by brains to learn long-term dependencies. Sparse Attentive Backtracking learns an attention mechanism over the hidden states of the past and selectively backpropagates through paths with high attention weights. This allows the model to learn long term dependencies while only backtracking for a small number of time steps, not just from the recent past but also from attended relevant past states.

연구 동기 및 목표

• 기울기 소실 문제와 계산 비용 문제로 인해 장기 의존성을 학습하는 데 어려움을 겪는 백프로파게이션 스루 타임(BPTT)의 한계를 해결하기 위해.
• 최근 시간 단계에만 후진 전파를 제한함으로써 장기 의존성을 무시하는 절단된 BPTT가 유도하는 편향을 극복하기 위해.
• 학습 중 빈번한 가중치 갱신을 가능하게 하기 위해 생물학적으로 타당하고 계산적으로 효율적인 전체 BPTT의 대안을 개발하기 위해.
• 은닉 상태의 동적 선택을 통해 오랜 시간 전에 발생한 사건으로부터 학습할 수 있도록 순환망이 장기 의존성을 학습할 수 있도록 하기 위해.

제안 방법

• 고정 크기의 은닉 상태, 과거 마이크로상태의 증가하는 매크로상태, 그리고 이러한 마이크로상태들에 대한 주의 메커니즘을 갖춘 반가소적 RNN 아키텍처를 도입한다.
• 현재 은닉 상태와 모든 과거 마이크로상태 간의 관련성 점수를 계산하기 위해 미분 가능 주의 메커니즘을 사용하여, 후진 전파를 위해 가장 중요한 상태들만 선택한다.
• 선택된 마이크로상태와 그들의 즉각적인 시간적 이웃에 대해서만 局부 후진 전파를 수행함으로써 계산 비용을 감소시킨다.
• 희소 주의 메커니즘을 활용하여 시간에 따라 동적이고 장거리 스킵 연결을 가능하게 하여 먼 사건들 사이의 책임 할당을 가능하게 한다.
• 작은 창 크기의 절단된 후진 전파를 사용하여 표준 최적화 기법으로 모델을 훈련함으로써 빈번한 가중치 갱신을 가능하게 한다.
• 장기간의 시퀀스 처리를 위해 메모리와 계산 비용을 줄이기 위해 계층적 주의 메커니즘을 활용하며, 향후 근접 이웃 검색을 통한 최적화가 가능할 전망이다.

실험 결과

연구 질문

• RQ1 전체 시퀀스의 끝을 기다리지 않고도 계산 효율성을 유지하면서 장기 의존성을 학습할 수 있는가?
• RQ2 과거 상태의 주의 기반 선택이 절단된 BPTT보다 먼 사건에 대한 기울기 흐름을 향상시킬 수 있는가?
• RQ3 생물학적으로 타당하고 계산적으로 실용적인 학습 알고리즘으로서 BPTT 수준의 성능를 달성할 수 있는가?
• RQ4 SAB의 성능는 장기간 시퀀스 모델링 작업에서 전체 BPTT와 절단된 BPTT와 비교하여 어떻게 되는가?

주요 결과

• 텍스트8 언어 모델링 작업에서 SAB는 테스트 비트/문자당(BPC) 1.53을 달성하여 전체 BPTT(1.51)와 매우 유사했고, 절단된 BPTT(1.60)보다 뚜렷이 뛰어난 성능를 보였다.
• 순차적 MNIST 분류 작업에서 SAB는 최적의 초모수 설정 하에 테스트 정확도 91.1%를 기록하여 전체 BPTT(90.3%)와 동일한 성능를 달성했고, 절단된 BPTT를 뛰어넘었다.
• SAB는 다양한 작업에서 뛰어난 성능를 보였으며, 주의로 선택된 상태를 통해 선택적 후진 전파가 효과적인 장거리 책임 할당을 가능하게 한다는 것을 입증했다.
• 모델은 초모수 조정이 제한된 상태에서도 높은 성능를 유지하여 실제 응용에서의 안정성과 실용성을 시사한다.
• 결과적으로 SAB는 전체 BPTT의 계산 부담 없이도 장기 의존성을 효과적으로 학습할 수 있음을 시사한다.