[논문 리뷰] Learning Longer-term Dependencies in RNNs with Auxiliary Losses

Trieu H. Trinh, Andrew M. Dai외 2명|arXiv (Cornell University)|2018. 03. 01.

Topic Modeling참고 문헌 33인용 수 87

한 줄 요약

논문은 RNN(RNNs)에 보조 비지도 손실을 추가하여 subsequences를 재구성하거나 예측하도록 하여 잘라진 BPTT로 더 긴 기간 의존성 학습과 효율성 향상을 가능하게 하고, 여러 기반 모델보다 긴 시퀀스에서 우수한 성능을 보인다.

ABSTRACT

Despite recent advances in training recurrent neural networks (RNNs), capturing long-term dependencies in sequences remains a fundamental challenge. Most approaches use backpropagation through time (BPTT), which is difficult to scale to very long sequences. This paper proposes a simple method that improves the ability to capture long term dependencies in RNNs by adding an unsupervised auxiliary loss to the original objective. This auxiliary loss forces RNNs to either reconstruct previous events or predict next events in a sequence, making truncated backpropagation feasible for long sequences and also improving full BPTT. We evaluate our method on a variety of settings, including pixel-by-pixel image classification with sequence lengths up to 16\,000, and a real document classification benchmark. Our results highlight good performance and resource efficiency of this approach over competitive baselines, including other recurrent models and a comparable sized Transformer. Further analyses reveal beneficial effects of the auxiliary loss on optimization and regularization, as well as extreme cases where there is little to no backpropagation.

연구 동기 및 목표

• 역전파를 통한 시간(BPTT)을 사용한 시퀀스에서의 긴 범위 의존성 학습의 도전과 높은 메모리 비용 해결
• 과거 부분시퀀스를 재구성하거나 무작위 앵커 지점에서 미래 부분시퀀스를 예측하는 보조 비지도 손실을 제안한다
• 이 보조 손실들이 잘라진 BPTT로도 효과적인 학습을 가능하게 하고 최적화 및 일반화에 도움을 준다고 입증한다
• 대단히 긴 시퀀스 작업(최대 16,000 단계)에서 평가하고 recurrent 기초선과 Transformer 변형과 비교한다

제안 방법

• 입력 시퀀스에 임의의 앵커 지점을 도입한다.
• 앵커 지점에서 과거 부분시퀀스를 재구성하는 재구성 보조 손실을 추가한다.
• 앵커 지점에서 미래 부분시퀀스를 예측하는 예측 보조 손실을 추가한다.
• 주된 지도 학습 손실과 보조 손실을 결합한 반지도 학습으로 구성된 두 단계로 학습한다.
• 시퀀스 길이에 상관없이 BPTT 비용을 일정하게 유지하기 위해 잘라진 역전파를 사용한다.
• long sequences에서 r-LSTM(재구성)과 p-LSTM(예측)을 사용해 평가하고 LSTM 기준선 및 Transformer와 비교한다

실험 결과

연구 질문

• RQ1 자른 BPTT를 사용할 때 보조 비지도 손실이 RNN의 장거리 의존성 학습을 개선할 수 있는가?
• RQ2 재구성 및 예측 보조 손실이 긴 시퀀스 모델링에 대해 최적화나 정규화 이점을 제공하는가?
• RQ3 장 longues sequence 벤치마크에서 r-LSTM과 p-LSTM은 정확도와 효율성 측면에서 LSTMs 및 Transformers와 어떻게 비교되는가?
• RQ4 샘플링 빈도와 부분 시퀀스 길이가 보조 손실의 효과에 어떤 영향을 미치는가?
• RQ5 이 방법들이 매우 긴 시퀀스(최대 16,000 단계)와 다양한 데이터 도메인(이미지, 텍스트)에 얼마나 확장 가능한가?

주요 결과

• 보조 손실은 잘라진 BPTT로도 강력한 성능을 가능하게 하며, 여러 작업에서 완전한 역전파 RNN과 근접하거나 그 성능을 따라간다.
• MNIST, pMNIST, CIFAR10, StanfordDogs에서 긴 시퀀스에서 r-LSTM과 p-LSTM은 잘라짐 하에서 완전히 학습된 LSTM보다 우수하며 시퀀스 길이가 커질수록 확장성도 더 좋다.
• 긴 시퀀스에서 r-LSTM과 p-LSTM은 상당한 계산 효율을 보여, 전체 BPTT가 불가능해지는 상황에서도 학습 시간이 관리 가능한 수준으로 남는다.
• DBpedia 문자 수준 분류에서 잘라진 BPTT를 사용하는 보조 손실은 SA-LSTM 및 LM-LSTM를 포함한 다른 기준선보다 유의하게 앞서는 성능을 보인다.
• Transformer 기준선과 비교할 때, Transformer는 짧은 시퀀스에서 더 높은 정확도를 달성할 수 있을지 모르지만, 긴 시퀀스에서 성능 저하가 발생하는 반면, r-LSTM/p-LSTM은 견고하고 메모리 효율적이다.