[논문 리뷰] Variable Computation in Recurrent Neural Networks

Yacine Jernite, Édouard Grave외 2명|arXiv (Cornell University)|2016. 11. 18.

Neural Networks and Applications인용 수 28

한 줄 요약

이 논문은 입력과 은닉 상태에 따라 각 시간 단계에서 계산을 동적으로 조정하는 Variable Computation RNN (VCRNN)과 Variable Computation GRU (VCGRU)를 소개한다. 이는 언어 모델링 작업에서 연산을 줄이고 성능을 향상시키는 데 기여한다. 모델은 단어 경계나 구조적 단위에서 더 많은 계산을 할당하도록 학습하여, 일정한 계산을 사용하는 기준 모델 대비 더 적은 연산으로 더 낮은 퍼플렉서티를 달성한다.

ABSTRACT

Recurrent neural networks (RNNs) have been used extensively and with increasing success to model various types of sequential data. Much of this progress has been achieved through devising recurrent units and architectures with the flexibility to capture complex statistics in the data, such as long range dependency or localized attention phenomena. However, while many sequential data (such as video, speech or language) can have highly variable information flow, most recurrent models still consume input features at a constant rate and perform a constant number of computations per time step, which can be detrimental to both speed and model capacity. In this paper, we explore a modification to existing recurrent units which allows them to learn to vary the amount of computation they perform at each step, without prior knowledge of the sequence's time structure. We show experimentally that not only do our models require fewer operations, they also lead to better performance overall on evaluation tasks.

연구 동기 및 목표

• 순차적 데이터에서 변동하는 정보 흐름을 처리하는 데 있어 일정한 계산을 사용하는 순환 신경망의 비효율성을 해결하기 위해.
• 시퀀스의 구조에 대한 사전 지식 없이도 RNN이 각 시간 단계에서 언제, 얼마나 많은 계산을 수행할지를 학습할 수 있는 메커니즘을 개발하기 위해.
• 데이터에 따라 복잡도에 맞게 계산을 적응시킴으로써 모델 성능을 향상시키고 계산 비용을 줄이기 위해.
• 변동 계산이 문자 수준 및 비트 수준 언어 모델링에서 더 나은 일반화와 효율성을 이끌어내는지 입증하기 위해.

제안 방법

• 표준 Elman 및 GRU 유닛을 수정하여 각 시간 단계에서 계산 단계 수를 결정하는 학습 가능한 스케줄러를 포함한 VCRNN과 VCGRU를 제안한다.
• 현재 은닉 상태와 입력에 기반하여 계산 단계 수 $ m_t $ 를 예측하는 미분 가능한 스케줄러 네트워크를 도입한다.
• 이산적 선택인 $ m_t $ 의 연속적 근사화를 위해 콘crete 분포를 사용하여 엔드 투 엔드 학습이 가능하게 한다.
• 모델 성능(퍼플렉서티)과 계산 비용을 균형 잡는 목적 함수를 사용하며, 목표 평균 계산량 $ \bar{m} $ 을 고려한다.
• 특히 침묵이나 버퍼와 같은 낮은 정보가 포함된 영역에서 희소성과 효율성을 유도하기 위해 $ m_t $ 에 페널티를 적용한다.
• 미분 가능한 스케줄러를 통해 역전파를 수행함으로써 엔드 투 엔드로 모델을 훈련시키며, 최적의 계산 할당 전략을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 순환 신경망은 시퀀스의 복잡도에 따라 사전 구조 지식 없이도 각 시간 단계에서 계산을 다양화할 수 있는가?
• RQ2 고정 계산을 사용하는 RNN 대비 변동 계산이 성능 향상과 계산 비용 절감에 기여하는가?
• RQ3 모델은 적응적 계산을 통해 단어 경계나 형태학적 단위와 같은 언어적 구조를 탐지하고 활용할 수 있는가?
• RQ4 스케줄러의 행동이 텍스트나 음성과 같은 순차적 데이터의 의미적 또는 문법적 단위와 어떻게 관련되어 있는가?
• RQ5 다양한 언어와 데이터 유형(예: 문자 수준, 비트 수준)에 대해 효율성과 정확도를 유지하면서 일반화할 수 있는가?

주요 결과

• PTB 데이터셋에서 VCGRU는 표준 GRU 및 LSTM 모델과 유사한 성능을 달성하지만, 연산 수가 절반 이하로 줄어든다.
• Text8 데이터셋에서 $ \bar{m} $ 가 다양한 값으로 설정된 VCGRU 모델은 유사하거나 더 높은 계산 비용을 가진 기준 모델보다 일관되게 뛰어난 성능을 보였다.
• VCRNN은 독일어와 체코어 텍스트에서 단어 경계나 형태학적 단위에서 계산이 증가하는 경향을 보이며, 이는 이러한 지점에서 계산의 급증을 통해 확인된다.
• 모델은 문자 간에 인위적인 8비트 및 24비트 버퍼를 식별하고 무시함으로써, 부족한 정보를 가진 세그먼트를 식별하고 건너뛰는 능력을 갖추고 있음을 보여준다.
• Europarl 체코어 및 독일어 데이터셋에서 지도 학습 및 비지도 학습 VCRNN 버전 모두 표준 RNN보다 낮은 계산 부담으로 더 나은 검증 로그-가능도를 달성했다.
• 스케줄러는 약 매 단어당 한 번 정도 높은 차원을 사용하도록 학습하며, 일부 경우에서는 형태소(예: -verkehr, -freundlich)와 같은 하위어 단위를 감지함으로써 언어적 구조에 민감한 반응을 보였다.