[論文レビュー] Architectural Complexity Measures of Recurrent Neural Networks

Saizheng Zhang, Yuhuai Wu+5 more|arXiv (Cornell University)|Feb 26, 2016

Adversarial Robustness in Machine Learning参考文献 22被引用数 111

ひとこと要約

本論文は、RNNアーキテクチャのグラフ理論的フレームワークを導入し、3つの複雑さ指標—再帰深さ、フィードフォワード深さ、再帰スキップ係数—を定義し、深い再帰経路とフィードフォワード経路、より高いスキップ係数が逐次タスクの性能向上につながるという理論的特性と実証的証拠を提供します。

ABSTRACT

In this paper, we systematically analyze the connecting architectures of recurrent neural networks (RNNs). Our main contribution is twofold: first, we present a rigorous graph-theoretic framework describing the connecting architectures of RNNs in general. Second, we propose three architecture complexity measures of RNNs: (a) the recurrent depth, which captures the RNN's over-time nonlinear complexity, (b) the feedforward depth, which captures the local input-output nonlinearity (similar to the "depth" in feedforward neural networks (FNNs)), and (c) the recurrent skip coefficient which captures how rapidly the information propagates over time. We rigorously prove each measure's existence and computability. Our experimental results show that RNNs might benefit from larger recurrent depth and feedforward depth. We further demonstrate that increasing recurrent skip coefficient offers performance boosts on long term dependency problems.

研究の動機と目的

• RNN接続アーキテクチャの厳密なグラフベースの定式化を提供する。
• 構造的複雑さの測度（再帰深さ、フィードフォワード深さ、再帰スキップ係数）の存在と計算可能性を定義し証明する。
• 深さとスキップ係数の変化が逐次タスクの性能に与える影響を実証的に評価する。
• より大きな再帰深さとフィードフォワード深さが一部のタスクを改善し得る一方で過度の深さは悪影響を及ぼす場合があること、およびより高いスキップ係数が長期的依存性を助けることを示す。

提案手法

• RNN接続アーキテクチャを重み付き有向多重グラフ（RNNサイクルグラフ）およびその時間展開された有向非巡回グラフ（RNN展開グラフ）としてモデル化する。
• 再帰深さ d_r を、最大サイクル比 l(θ)/σ_s(θ) による時間ステップあたりの非線形変換の漸近的平均数として定義する。
• フィードフォワード深さ d_f を、入力から出力への経路上で D*_i(n) − n·d_r の上限とし、経路の最大値として l(γ) − σ_s(γ)·d_r を取ることで計算可能に定義する。
• 再帰スキップ係数 s を、サイクル全体での長期的な経路成長 j = min_θ l(θ)/σ_s(θ) の最小値の逆数として定義し、すなわち s = 1/j。
• 一般的枠組みの下で d_r, d_f, s の存在と計算可能性を証明する。
• Penn Treebank の文字レベルモデリング、text8、メモリの加算・コピー問題、シーケンシャルMNISTなどのタスクで、さまざまな d_r, d_f, s を持つアーキテクチャを経験的に比較する。

実験結果

リサーチクエスチョン

• RQ1 再帰深さは従来の深さ概念を超えた時間を超えた意味のある非線形性を捉えるか？
• RQ2 再帰深さとフィードフォワード深さの増加は逐次タスクの性能を改善するか、最適な範囲はあるか？
• RQ3 再帰スキップ係数を増やすことで長期的依存性の学習が改善されるか？
• RQ4 これらのアーキテクチャ指標はRNNの最適化の難易度とどのように関連するか？

主な発見

• 同じレイヤー数でも再帰深さ d_r はアーキテクチャ間で異なることがあり、より深い再帰構造は長期的な非線形成長を異なるものにする。
• d_r および d_f の増加は一部のタスク（例: tanh RNNs および LSTMs を用いた text8 など）で性能向上につながるが、過度な d_r や d_f は最適化と他のタスクでの性能を悪化させることがある（例: sequential MNIST）。
• 再帰スキップ係数 s の大幅な増加は、加算・コピー memory 問題や sequential MNIST のような長期依存性タスクで性能を大幅に向上させ、しばしばベースラインモデルや同等モデルを上回る。
• 実効再帰スキップ係数を高めるスキップ接続（すべてのスキップ接続が同様に有益というわけではない）は大きな利得を生む可能性があり、スキップを設計する際には s を考慮する重要性を示している。