[논문 리뷰] Recurrent Additive Networks

Kenton Lee, Omer Levy외 1명|arXiv (Cornell University)|2017. 05. 21.

Topic Modeling참고 문헌 13인용 수 30

한 줄 요약

이 논문은 언어 모델링 벤치마크에서 LSTMs와 유사한 성능을 내는 게이팅된 RNN인 순환 덧셈 네트워크(RANs)를 제안한다. RANs는 순환 전이에서 비선형성을 사용하지 않고 오직 덧셈 상태 업데이트만을 사용하지만, 강력한 성능을 유지한다. 모델의 내부 상태는 입력 벡터들의 가중합으로 구성되어 있어 높은 해석 가능성을 유지하면서도 뛰어난 성능을 발휘한다.

ABSTRACT

We introduce recurrent additive networks (RANs), a new gated RNN which is distinguished by the use of purely additive latent state updates. At every time step, the new state is computed as a gated component-wise sum of the input and the previous state, without any of the non-linearities commonly used in RNN transition dynamics. We formally show that RAN states are weighted sums of the input vectors, and that the gates only contribute to computing the weights of these sums. Despite this relatively simple functional form, experiments demonstrate that RANs perform on par with LSTMs on benchmark language modeling problems. This result shows that many of the non-linear computations in LSTMs and related networks are not essential, at least for the problems we consider, and suggests that the gates are doing more of the computational work than previously understood.

연구 동기 및 목표

• 시퀀스 모델링 작업에서 강력한 성능을 유지하면서도 더 단순하고 해석 가능한 게이팅된 RNN 아키텍처를 개발하는 것.
• LSTM의 언어 모델링 성공에 비선형 순환 동역학이 필수적인지 여부를 조사하는 것.
• RANs의 기능 공간을 체계적으로 특성화하고, 그 은닉 상태가 입력 벡터들의 성분별 가중합임을 보여주는 것.
• 게이팅 메커니즘이 정보 흐름 제어 외에도 더 많은 계산 작업을 수행할 수 있음을 보여주는 것, 이는 이전에 인식된 것보다 더 많은 기여를 할 수 있음을 시사한다.

제안 방법

• RANs는 현재 입력과 이전 은닉 상태의 게이팅된 성분별 합으로 은닉 상태를 계산하며, 입력 및 망각 동작에 시그모이드 게이팅을 사용한다.
• 입력 차원과 은닉 차원의 불일치를 처리하기 위해 입력을 은닉 차원으로 투영하기 위한 선형 변환을 사용한다.
• 출력은 은닉 상태에 비선형 활성화(예: tanh)를 적용하여 계산되며, 단순화된 변형에서는 항등 함수도 사용된다.
• 시간 t에서의 은닉 상태는 수학적으로 이전 모든 입력 벡터들의 성분별 가중합으로 공식화되며, 가중치는 게이팅 값에 의해 결정된다.
• LSTM에서 비선형 순환 전이(즉, 후보 셀 상태의 tanh)와 출력 게이팅을 제거함으로써 아키텍처를 유도한다.
• 표준 하이퍼파라미터 튜닝을 사용하여 표준 언어 모델링 벤치마크에서 RANs, LSTMs, GRUs 간의 실험을 수행한다.

실험 결과

연구 질문

• RQ1 순수하게 덧셈 상태 업데이트를 사용하는 게이팅된 RNN이 언어 모델링 작업에서 LSTMs의 성능을 따라할 수 있는가?
• RQ2 비선형 순환 전이 동역학에서의 비선형성은 LSTMs의 성능에 얼마나 기여하는가?
• RQ3 게이팅된 RNN의 은닉 상태가 입력 벡터들의 가중합으로 체계적으로 특성화될 수 있는가? 그리고 이는 해석 가능성에 어떤 영향을 미치는가?
• RQ4 LSTMs와 GRUs의 게이팅 메커니즘이 비선형 순환 동역학의 부재 상황에서 이전에 상정된 것보다 더 많은 계산 작업을 수행하는가?
• RQ5 비선형성을 제거하고 파라미터를 줄임으로써 게이팅된 RNN을 상당히 단순화시킬 수 있는가? 성능 저하 없이 말이다.

주요 결과

• RANs는 펜 트리뱅크, 위키텍스트-2, 위키텍스트-103와 같은 세 가지 표준 언어 모델링 벤치마크에서 LSTMs와 유사한 성능를 보였으며, 파라미터 수가 상당히 적다.
• LSTM 아키텍처에서 비선형 순환 전이(즉, 후보 셀 상태의 tanh)를 제거하면 원래 LSTM과 거의 동일한 성능를 보인다.
• LSTM에서 출력 게이팅을 제거해도 성능 저하가 거의 없어, 이 경우 언어 모델링에서 출력 게이팅이 필수적이지 않다는 것을 시사한다.
• 어느 시간 단계에서든 RAN의 내부 상태는 이전 모든 입력 벡터들의 성분별 가중합으로 수학적으로 동치이며, 가중치는 게이팅 값에 의해 결정된다.
• RAN의 단순성 덕분에 각 입력 벡터가 현재 은닉 상태에 어떻게 기여하는지 직접적으로 해석할 수 있어 모델의 투명성이 향상된다.
• 실험 결과에 따르면 덧셈 연결과 게이팅 메커니즘은 LSTMs의 성능를 주도하는 주요 요인일 수 있으며, 비선형 순환 동역학보다 더 중요한 역할을 할 수 있음을 시사한다.