[논문 리뷰] Recurrently Controlled Recurrent Networks

Yi Tay, Anh Tuan Luu외 1명|arXiv (Cornell University)|2018. 11. 24.

Topic Modeling인용 수 14

한 줄 요약

이 논문은 청취자 RNN의 게이팅 함수를 동적으로 학습하는 제어자 RNN를 갖춘 새로운 RNN 아키텍처인 반복 제어 RNN(RCRN)을 제안한다. 이는 더 표현력 있는 시퀀스 인코딩을 가능하게 하며, 26개의 NLP 벤치마크에서 표준 및 스타킹된 BiLSTM을 모두 능가한다. 또한 유사하거나 더 나은 추론 효율성을 유지한다.

ABSTRACT

Recurrent neural networks (RNNs) such as long short-term memory and gated recurrent units are pivotal building blocks across a broad spectrum of sequence modeling problems. This paper proposes a recurrently controlled recurrent network (RCRN) for expressive and powerful sequence encoding. More concretely, the key idea behind our approach is to learn the recurrent gating functions using recurrent networks. Our architecture is split into two components - a controller cell and a listener cell whereby the recurrent controller actively influences the compositionality of the listener cell. We conduct extensive experiments on a myriad of tasks in the NLP domain such as sentiment analysis (SST, IMDb, Amazon reviews, etc.), question classification (TREC), entailment classification (SNLI, SciTail), answer selection (WikiQA, TrecQA) and reading comprehension (NarrativeQA). Across all 26 datasets, our results demonstrate that RCRN not only consistently outperforms BiLSTMs but also stacked BiLSTMs, suggesting that our controller architecture might be a suitable replacement for the widely adopted stacked architecture.

연구 동기 및 목표

• 계층적 스타킹의 대안으로서, 깊은 RNN의 기울기 소실 문제와 깊은 특징 전파의 어려움을 해결하기 위해 제안된 것이다.
• 모델 깊이를 늘리지 않고도 시퀀스 인코딩 능력을 향상시키기 위해, 하나의 RNN이 학습된 게이팅 함수를 통해 다른 RNN을 제어할 수 있도록 한다.
• 제어자-청취자 아키텍처가 시퀀스 모델링 작업에서 스타킹된 RNN의 실질적이고 더 효과적인 대체가 될 수 있음을 보여주기 위해 제안된 것이다.
• 감성 분석, 질문 분류, 독해 이해 등 다양한 NLP 작업에서 RCRN의 성능을 평가하기 위해 제안된 것이다.
• 특히 cuDNN 최적화 설정에서, 표준 및 스타킹된 BiLSTM과 비교하여 RCRN의 계산 효율성을 분석하기 위해 제안된 것이다.

제안 방법

• RCRN은 제어자 셀과 청취자 셀의 두 구성 요소로 이루어져 있으며, 모두 RNN으로 구현된다.
• 제어자 RNN은 각 타임스텝에서 청취자 RNN의 동적 게이팅 파라미터(예: 입력, 잊기, 출력 게이트)를 생성한다.
• 청취자 RNN은 제어자로부터 생성된 게이트를 사용하여 은닉 상태 전이를 조절함으로써 적응적인 정보 흐름을 가능하게 한다.
• 이 아키텍처는 같은 계층 수준에서 병렬로 작동하므로, RNN 레이어의 깊은 스타킹이 필요로 하지 않는다.
• 제어자-청취자 메커니즘은 표준 시간을 통한 역전파를 사용하여 엔드 투 엔드로 훈련된다.
• 특히 긴 시퀀스에서의 훈련 및 추론 속도 향상을 위해 CUDA 최적화된 RCRN 버전이 구현되었다.

실험 결과

연구 질문

• RQ1 제어자 RNN이 청취자 RNN의 게이팅 함수를 동적으로 학습함으로써, 시퀀스 모델링 작업에서 표준 스타킹 BiLSTM 아키텍처를 능가할 수 있는가?
• RQ2 특히 장거리 의존성 모델링에서, 제어자-청취자 아키텍처가 계층적 스타킹된 RNN보다 더 나은 표현 학습을 제공하는가?
• RQ3 특히 cuDNN 최적화된 추론 환경에서, RCRN의 계산 효율성은 스타킹된 BiLSTM과 비교해 어떻게 되는가?
• RQ4 주의 메커니즘에 의존하지 않고도, RCRN이 다양한 NLP 벤치마크에서 최고 또는 최고 수준에 가까운 성능을 달성할 수 있는가?
• RQ5 제어자-청취자 메커니즘은 감성 분석, 함의 관계 분석, 독해 이해 등 여러 NLP 작업에서 성능 향상에 충분히 강력한가?

주요 결과

• RCRN은 SST, IMDb, 아마존 리뷰, TREC, SNLI, SciTail, WikiQA, TrecQA, NarrativeQA를 포함한 26개의 모든 벤치마크 데이터셋에서 표준 BiLSTM보다 뛰어난 성능을 보였다.
• 주의 메커니즘 없이도 WikiQA와 TrecQA에서 MAP 점수를 각각 +2% 향상시켰으며, 주의 풀링을 사용할 경우에도 동일한 +2% 향상을 유지했고, MRR 향상은 4-7%에 이르렀다.
• NarrativeQA 독해 이해 작업에서, R-NET의 세 레이어 BiGRU와 대비해 단일 레이어 RCRN를 사용함에도 불구하고 모든 지표에서 1%에서 2%의 향상을 달성했다.
• CUDA 최적화된 RCRN는 3층 BiLSTM(cuDNN)과 유사한 추론 시간을 기록했으며, 일부 시퀀스 길이에서는 오히려 더 빠른 성능을 보였다.
• 유사한 파라미터 수를 가진 스타킹된 BiLSTM와 비교해도 RCRN는 유사하거나 더 나은 효율성을 유지했으며, 최적화된 버전은 긴 시퀀스에서 3층 BiLSTM(cuDNN)보다 略 빠른 성능을 보였다.
• SST, TREC 질문 분류, 16개의 아마존 리뷰 데이터셋에서 RCRN는 최고 수준에 가까운 성능을 달성했으며, 이는 다양한 도메인에 걸친 강력한 일반화 능력을 시사한다.