[論文レビュー] Understanding Recurrent Neural Architectures by Analyzing and Synthesizing Long Distance Dependencies in Benchmark Sequential Datasets

Abhijit Mahalunkar, John D. Kelleher|arXiv (Cornell University)|Oct 6, 2018

Neural Networks and Applications参考文献 48被引用数 9

ひとこと要約

本稿では、依存性減衰曲線を用いて逐次的データセットにおける長距離依存（LDD）を分析・合成するフレームワークを導入し、LDDの複雑さが語彙サイズ、データセットサイズ、相互作用する記号の数、記号間距離に依存することを明らかにした。合成された厳密k-ピecewise言語を用いて、依存性減衰分析がより良いハイパーパramータ選定を可能にし、順序付きMNIST や Enwik8 といった標準ベンチマークの限界を露呈することを示した。

ABSTRACT

In order to build efficient deep recurrent neural architectures, it is essential to analyze the complexityof long distance dependencies (LDDs) of the dataset being modeled. In this paper, we presentdetailed analysis of the dependency decay curve exhibited by various datasets. The datasets sampledfrom a similar process (e.g. natural language, sequential MNIST, Strictlyk-Piecewise languages,etc) display variations in the properties of the dependency decay curve. Our analysis reveal thefactors resulting in these variations; such as (i) number of unique symbols in a dataset, (ii) size ofthe dataset, (iii) number of interacting symbols within a given LDD, and (iv) the distance betweenthe interacting symbols. We test these factors by generating synthesized datasets of the Strictlyk-Piecewise languages. Another advantage of these synthesized datasets is that they enable targetedtesting of deep recurrent neural architectures in terms of their ability to model LDDs with differentcharacteristics. We also demonstrate that analysing dependency decay curves can inform the selectionof optimal hyper-parameters for SOTA deep recurrent neural architectures. This analysis can directlycontribute to the development of more accurate and efficient sequential models.

研究の動機と目的

• 逐次的データセットにおける長距離依存（LDD）に影響を与える要因を理解すること。これは、効果的な再帰的ニューラルネットワークの訓練に不可欠である。
• 順序付きMNIST や Enwik8 などの既存ベンチマークデータセットが、複雑なLDDを十分に表現していない点を批判すること。
• 厳密k-ピecewise（SPk）言語を用いて、制御可能なLDD特性を持つ合成逐次的データセットを生成する手法を開発すること。
• 依存性減衰曲線分析が、最先端のRNNアーキテクチャにおける最適なハイパーパramータ選定をどのように支援できるかを示すこと。
• 現実世界の逐次的データに見られるLDD複雑さの全範囲を反映する、より多様で代表的なベンチマークを提唱すること。

提案手法

• シーケンス内で距離が広がる記号間の相互情報量を用いて、依存性減衰曲線を計算する。
• 情報理論的測度を用いて、時間的または空間的間隔が変化する際の統計的依存性の減衰を定量化する。
• k、語彙サイズ、禁止サブストリングなどの文法パラメータを制御することで、厳密k-ピecewise（SPk）言語を用いて合成データセットを生成する。
• 語彙サイズ、データセットサイズ、相互作用する記号の数、および記号間距離という4つの要因がLDD曲線の形状に与える影響を分析する。
• 依存性減衰曲線を診断ツールとして用い、合成データセットと実世界ベンチマークにおけるSOTA RNNの性能を評価・比較する。
• SOTA再帰的アーキテクチャ（例：LSTM）を、LDD複雑さが異なる合成データセット上でテストし、ハイパーパramータ感受性を観察することで、発見を検証する。

実験結果

リサーチクエスチョン

• RQ1 逐次的データセットにおける依存性減衰曲線の形状と複雑さを規定する要因は何か？
• RQ2 語彙サイズ、データセットサイズ、相互作用する記号の数、および記号間距離は、長距離依存構造にどのように影響を与えるか？
• RQ3 順序付きMNIST や Enwik8 といった標準ベンチマークデータセットは、現実的なLDD複雑さをどれほど適切に反映しているか？
• RQ4 合成SPk言語データセットを用いて、LDDモデリングのためのRNNアーキテクチャを体系的に評価・チューニングできるか？
• RQ5 依存性減衰曲線分析は、最先端の再帰的ニューラルネットワークにおける最適なハイパーパramータ選定をどのように支援できるか？

主な発見

• 依存性減衰曲線は、逐次的データセットの背後にある文法とLDD構造を明らかにする強力な診断ツールである。
• LDDは、ユニークな記号の数、データセットサイズ、相互作用する記号の数、およびそれらの距離という4つの要因に影響を受ける。
• 順序付きMNIST や並び替え済み順序付きMNIST といった標準ベンチマークは、意味的な長距離依存性を欠いており、LDDモデリング能力の評価には不適切である。
• Enwik8 は、パワー則的相関を示す長尾型の依存性減衰曲線を示しており、モデリングの難易度が高く、LSTMはマルコフモデルよりもそれをよりうまく処理できる。
• 合成SPkデータセットを用いることで、LDD複雑さを正確に制御でき、さまざまな依存条件におけるRNNアーキテクチャの評価が可能になる。
• 依存性減衰曲線分析により、SOTA RNNにおける情報のハイパーパラメータ選定がより的確に行え、モデルの精度と効率が直接的に向上する。