[논문 리뷰] Mutual Information Scaling and Expressive Power of Sequence Models

Huitao Shen|arXiv (Cornell University)|2019. 05. 10.

Neural Networks and Applications참고 문헌 54인용 수 9

한 줄 요약

이 논문은 순차 모델에서 상호정보량의 시간적 스케일링을 조사하며, RNN 및 LSTM과 같은 순환 네트워크가 시간 거리와 함께 지수적으로 감쇠하는 상호정보량을 보이는 반면, 트랜스포머는 장거리 상호정보량을 거듭제곱 법칙에 따라 효율적으로 포착함을 보여준다. 연구는 트랜스포머가 언어나 주가와 같은 천천히 감쇠하는 상관관계를 가진 자연적 순서를 모델링하는 데 더 적합하다는 것을 입증하며, 이는 주로 어텐션 메커니즘이 장거리 정보 흐름을 지속적으로 가능하게 하기 때문이다.

ABSTRACT

Sequence models assign probabilities to variable-length sequences such as natural language texts. The ability of sequence models to capture temporal dependence can be characterized by the temporal scaling of correlation and mutual information. In this paper, we study the mutual information of recurrent neural networks (RNNs) including long short-term memories and self-attention networks such as Transformers. Through a combination of theoretical study of linear RNNs and empirical study of nonlinear RNNs, we find their mutual information decays exponentially in temporal distance. On the other hand, Transformers can capture long-range mutual information more efficiently, making them preferable in modeling sequences with slow power-law mutual information, such as natural languages and stock prices. We discuss the connection of these results with statistical mechanics. We also point out the non-uniformity problem in many natural language datasets. We hope this work provides a new perspective in understanding the expressive power of sequence models and shed new light on improving the architecture of them.

연구 동기 및 목표

• 순환 신경망(RNN)과 트랜스포머와 같은 순차 모델이 장거리 시간적 의존성을 어떻게 스케일링하는지 이해하기 위해.
• 특히 자연어 및 기타 거듭제곱 법칙에 따라 상관관계가 있는 순서와 관련하여, 순환 및 자기어텐션 네트워크에서 상호정보량의 스케일링 행동을 조사하기 위해.
• 장거리 상관관계를 모델링할 때 RNN의 아키텍처적 한계를 규명하고 트랜스포머의 표현력과 비교하기 위해.
• 통계역학, 특히 국소 상호작용과 임계성의 역할과의 연결 고리를 찾기 위해.
• 장거리 의존성 학습을 방해할 수 있는 자연어 데이터셋의 비균일성 문제를 부각하기 위해.

제안 방법

• 선형 RNN의 이론적 분석을 통해 시간 거리에 따른 상호정보량의 지수 감쇠를 유도하기 위해.
• 비선형 RNN, 특히 LSTMs의 경험적 평가를 통해 실질적으로 상호정보량이 지수 감쇠하는지 확인하기 위해.
• 실제 데이터셋과 합성 모델을 사용하여 RNN과 트랜스포머 간의 상호정보량 스케일링을 비교하기 위해.
• 특히 이징 모델을 활용하여 물리적 시스템과 순차 모델 간의 유사성을 도출하기 위해 통계역학 개념을 활용하기 위해.
• 이징 모델의 조건부 분포 유도를 통해 근접한 이웃 상호작용이 1-그램 모델과 유사한 행동과 지수 감쇠를 유도함을 보여주기 위해.
• 베이즈 정리와 분할 함수 조작을 적용하여 조건부 확률과 이들이 과거에 의존하는 방식을 분석하기 위해.

실험 결과

연구 질문

• RQ1 LSTM과 같은 순환 신경망에서 상호정보량은 시간 거리에 따라 어떻게 스케일링되는가?
• RQ2 상호정보량이 거듭제곱 법칙에 따라 감쇠할 경우, 트랜스포머가 RNN보다 장거리 의존성을 더 효과적으로 포착할 수 있는가?
• RQ3 순차 모델에서 상호정보량 스케일링과 통계역학의 개념(예: 임계성, 국소 상호작용) 사이의 연결 고리는 무엇인가?
• RQ4 RNN은 순환적 구조를 지니고 있음에도 불구하고, 왜 자연어와 같은 거듭제곱 법칙에 따라 장거리 상관관계를 가지는 순서를 모델링하지 못하는가?
• RQ5 자연어 데이터셋의 데이터 분포 비균일성은 순차 모델에서 장거리 의존성 학습에 어떤 영향을 미치는가?

주요 결과

• 선형 RNN에서의 상호정보량은 시간 거리와 함께 지수 감쇠되며, 이는 이론적 예측과 일치한다.
• 경험적 결과는 비선형 RNN, 특히 LSTMs 역시 지수 감쇠하는 상호정보량을 보임을 확인하여, 장거리 의존성 모델링 능력에 제한이 있음을 시사한다.
• 트랜스포머는 거듭제곱 법칙 감쇠를 효율적으로 포착할 수 있어 언어나 주가와 같은 자연적 순서를 모델링하는 데 더 적합하다.
• 근접 이웃 이징 모델의 이론적 분석은 이러한 시스템이 1-그램 모델과 유사하게 행동하며 상호정보량이 지수 감쇠됨을 보여주어 RNN의 결과를 뒷받침한다.
• 연구는 자연어 데이터셋에서 훈련 및 검증 세트 간 통계적 성질의 비균일성 문제를 규명하였으며, 이는 장거리 의존성 학습을 방해할 수 있다.
• 결과는 특히 어텐션 메커니즘이 포함된 아키텍처 설계가 천천히 감쇠하는 상관관계를 가지는 순서를 모델링하는 데 있어 표현력을 결정적으로 높이는 데 기여한다는 것을 시사한다.