[논문 리뷰] Sparse Attentive Backtracking: Temporal CreditAssignment Through Reminding

Nan Rosemary Ke, Anirudh Goyal외 5명|arXiv (Cornell University)|2018. 09. 11.

Multimodal Machine Learning Applications참고 문헌 28인용 수 34

한 줄 요약

이 논문은 순환 신경망을 위한 새로운 신용 할당 메커니즘인 희소 주의적 후진 전파(Sparse Attentive Backtracking, SAB)를 제안한다. SAB는 모든 시간 단계를 거쳐가지 않고, 중요한 과거 상태들 중에서 주의 메커니즘을 사용해 선택적으로 기울기 역전파를 수행한다. SAB는 장기 시퀀스에서 전방향 역전파(BPTT)와 유사한 성능을 달성하면서도 전체 전개(full unrolling)의 계산 부담을 피하며, 절단된 BPTT와 LSTMs보다 장기 의존성 작업에서 뛰어난 성능을 보인다.

ABSTRACT

Learning long-term dependencies in extended temporal sequences requires credit assignment to events far back in the past. The most common method for training recurrent neural networks, back-propagation through time (BPTT), requires credit information to be propagated backwards through every single step of the forward computation, potentially over thousands or millions of time steps. This becomes computationally expensive or even infeasible when used with long sequences. Importantly, biological brains are unlikely to perform such detailed reverse replay over very long sequences of internal states (consider days, months, or years.) However, humans are often reminded of past memories or mental states which are associated with the current mental state. We consider the hypothesis that such memory associations between past and present could be used for credit assignment through arbitrarily long sequences, propagating the credit assigned to the current state to the associated past state. Based on this principle, we study a novel algorithm which only back-propagates through a few of these temporal skip connections, realized by a learned attention mechanism that associates current states with relevant past states. We demonstrate in experiments that our method matches or outperforms regular BPTT and truncated BPTT in tasks involving particularly long-term dependencies, but without requiring the biologically implausible backward replay through the whole history of states. Additionally, we demonstrate that the proposed method transfers to longer sequences significantly better than LSTMs trained with BPTT and LSTMs trained with full self-attention.

연구 동기 및 목표

• 장기 시퀀스에서 전방향 역전파(BPTT)의 계산 비용이 과도해지는 문제를 해결하기 위해, 특히 수백만 개의 시간 단계를 전개할 경우의 비용 문제를 해결한다.
• 현재 상태가 관련된 과거 상태를 회상하는 연상 기억 모델링을 통해 BPTT의 생물학적으로 타당한 대안을 탐색한다.
• 모든 중간 상태를 다시 전파할 필요 없이 효과적인 장기 의존성 학습을 가능하게 하는 방법을 개발한다.
• 기본 RNN과 자기 주의 모델보다 장기 시퀀스에서 일반화 및 전이 성능을 향상시킨다.

제안 방법

• 현재 은닉 상태와 관련된 과거 상태를 연결하는 희소 주의 기반 메커니즘을 도입하여 시간적 스킵 연결을 형성한다.
• 기울기는 전체 시퀀스를 거치지 않고, 학습된 주의 경로를 통해만 역전파된다. 이는 계산 비용을 감소시킨다.
• 현재 상태와 과거 은닉 상태 간의 관련성 점수를 계산하기 위해 미분 가능한 주의 메커니즘을 사용하며, 상위-k개 상태만 선택해 역전파한다.
• 하이브리드 학습 전략을 적용: 단기 의존성은 표준 BPTT로, 장기 신용 할당은 선택적 후진 추적을 통한 SAB로 처리한다.
• RNN과 Transformer에 이 메커니즘을 적용하여 시퀀스 모델링, 기억 작업, 이미지 분류에서 성능을 평가한다.
• 온도 조절 소프트 주의 메커니즘을 사용해 과거 상태 선택 과정에서 기울기 흐름을 허용한다.

실험 결과

연구 질문

• RQ1 생물학적으로 타당한 연상 메커니즘이 장기 신용 할당을 위해 전체 BPTT를 효과적으로 대체할 수 있는가?
• RQ2 희소 주의 기반 후진 추적은 계산 비용을 줄이면서도 전체 BPTT와 유사한 성능을 달성할 수 있는가?
• RQ3 장기 의존성 학습에서 SAB는 절단된 BPTT와 LSTMs보다 어떻게 성능을 냈는가?
• RQ4 표준 RNN이나 자기 주의 모델보다 SAB는 더 긴 시퀀스로 일반화가 더 잘 되는가?
• RQ5 주의 메커니즘이 현재 결정에 인과적으로 관련된 중요한 먼 과거 상태를 효과적으로 식별할 수 있는가?

주요 결과

• SAB는 $k_{\textrm{trunc}}=20$ 및 $k_{\textrm{top}}=10$ 조건에서 pMNIST 작업에서 90.9%의 테스트 정확도를 달성했으며, 전체 BPTT를 사용한 LSTM(90.3%)보다 뛰어나고, CIFAR10에서 전체 BPTT 성능을 matching했다.
• 200단계 복제 작업에서 SAB는 95%의 정확도를 기록했으며, BPTT를 사용한 LSTM(52%)과 자기 주의를 사용한 LSTM(34%)보다 뚜렷이 뛰어났다.
• Text8 언어 모델링 데이터셋에서 SAB는 $k_{\textrm{trunc}}=10$ 및 $k_{\textrm{top}}=5$ 조건에서 전체 BPTT로 학습한 LSTM보다 뛰어난 성능을 보였다.
• SAB는 강력한 전이 학습 성능를 보였다: 5000단계 복제 작업에서 41%의 정확도를 기록했으며, BPTT를 사용한 LSTM는 12%였고, 자기 주의를 사용한 LSTM는 OOM(메모리 초과)였다.
• 200단계 복제 작업에서 SAB의 주의 메커니즘이 초기 10개 입력 기호를 신속히 집중적으로 선택하는 것으로 나타나, 효과적인 장거리 기억 회상이 이루어졌음을 시사한다.
• CIFAR10에서 SAB는 Transformer 모델(64.5% 대비 62.2%)을 앞서 성능을 냈으며, 특정 시퀀스 작업에서 유도적 편향의 이점이 있음을 시사한다.