[論文レビュー] Mutual Information Scaling and Expressive Power of Sequence Models

Huitao Shen|arXiv (Cornell University)|May 10, 2019

Neural Networks and Applications参考文献 54被引用数 9

ひとこと要約

本稿は、系列モデルにおける相互情報量の時間的スケーリングを調査し、RNN やLSTM などの再帰的ネットワークが時間的距離とともに指数関数的に減少する相互情報量を示す一方で、Transformers は長距離で力関数的に減少する依存関係を効率的に捉えることを明らかにした。研究は、言語や株価など、ゆっくり減少する相関を持つ自然な系列をモデル化するのに、Transformers がより適していることを示しており、その理由はアテンション機構による持続的な長距離情報伝達を可能としているためである。

ABSTRACT

Sequence models assign probabilities to variable-length sequences such as natural language texts. The ability of sequence models to capture temporal dependence can be characterized by the temporal scaling of correlation and mutual information. In this paper, we study the mutual information of recurrent neural networks (RNNs) including long short-term memories and self-attention networks such as Transformers. Through a combination of theoretical study of linear RNNs and empirical study of nonlinear RNNs, we find their mutual information decays exponentially in temporal distance. On the other hand, Transformers can capture long-range mutual information more efficiently, making them preferable in modeling sequences with slow power-law mutual information, such as natural languages and stock prices. We discuss the connection of these results with statistical mechanics. We also point out the non-uniformity problem in many natural language datasets. We hope this work provides a new perspective in understanding the expressive power of sequence models and shed new light on improving the architecture of them.

研究の動機と目的

• RNN やTransformers などの系列モデルが、長距離の時間的依存関係をどの程度スケーリングして捉えられるかを理解すること。
• 自然言語やその他の力関数的相関を持つ系列と関連して、再帰的および自己注意ネットワークにおける相互情報量のスケーリング行動を調査すること。
• RNN が長距離相関をモデル化する際のアーキテクチャ的限界を特定し、Transformers の表現力を比較すること。
• 統計力学の概念、特に局所的相互作用と臨界性がモデル行動に与える役割と、それらを結びつけること。
• 自然言語データセットにおける非一様性の問題が、長距離依存関係の学習を妨げる可能性を浮き彫りにすること。

提案手法

• 線形RNN の理論的分析により、時間的距離に伴う相互情報量の指数関数的減衰を導出する。
• 非線形RNN（LSTM を含む）の実験的評価により、実際の状況でも相互情報量が指数関数的に減少することを検証する。
• 実世界のデータセットと合成モデルを用いて、RNN とTransformers 間の相互情報量スケーリングを比較する。
• 特にイジング模型を用いて、物理的系と系列モデルとの類似性を考察する統計力学の概念の応用。
• イジング模型における条件付き分布の導出により、最近隣相互作用が1-gram的行動と指数関数的減衰を引き起こすことを示す。
• ベイズの定理と分配関数の操作を用いて、条件付き確率とその履歴依存性を分析する。

実験結果

リサーチクエスチョン

• RQ1 LSTM などの再帰的ニューラルネットワークにおいて、相互情報量は時間的距離とともにどのようにスケーリングされるか？
• RQ2 相互情報量が力関数的に減少する場合、Transformers はRNN よりも長距離依存関係をより効果的に捉えることができるか？
• RQ3 系列モデルにおける相互情報量のスケーリングと、統計力学における臨界性や局所的相互作用といった概念との関連は何か？
• RQ4 RNN は再帰的構造を持つにもかかわらず、なぜ力関数的長距離相関を持つ自然な系列をモデル化できないのか？
• RQ5 自然言語データセットにおけるデータ分布の非一様性が、系列モデルにおける長距離依存関係の学習にどのように影響するか？

主な発見

• 線形RNN における相互情報量は、時間的距離とともに指数関数的に減少し、理論的予測と整合的である。
• 実験的結果により、非線形RNN（LSTM を含む）においても相互情報量が指数関数的に減少することが確認され、長距離依存関係のモデル化能力が制限されることが示された。
• Transformers は、力関数的減衰を示す長距離相互情報量を効率的に捉えることができ、言語や株価などの自然な系列をモデル化するのにより適している。
• 最近隣イジング模型の理論的分析により、このような系は1-gramモデルと同様に振る舞い、相互情報量が指数関数的に減少することが示され、RNN の結果を裏付けた。
• 本研究では、自然言語データセットに非一様性の問題が存在し、学習用と検証用のセットの統計的性質に差があることが判明し、長距離依存関係の学習を妨げる可能性がある。
• 結果から、特にアテンション機構を含むアーキテクチャ設計が、ゆっくり減少する相関を持つ系列をモデル化するための表現力を高める上で極めて重要であることが示唆された。