[論文レビュー] Adaptive Computation Time for Recurrent Neural Networks

Alex Graves|arXiv (Cornell University)|Mar 29, 2016

Topic Modeling参考文献 32被引用数 361

ひとこと要約

本論文は Adaptive Computation Time (ACT) を導入し、RNN が入力ごとに実行する計算ステップ数を学習できるようにすることで、複数の合成タスクの性能を向上させ、言語モデリングにおける洞察を提供します。ACT は発散可能な停止機構と損失に対するグローバルな時間ペナルティを用いて計算を適応させます。

ABSTRACT

This paper introduces Adaptive Computation Time (ACT), an algorithm that allows recurrent neural networks to learn how many computational steps to take between receiving an input and emitting an output. ACT requires minimal changes to the network architecture, is deterministic and differentiable, and does not add any noise to the parameter gradients. Experimental results are provided for four synthetic problems: determining the parity of binary vectors, applying binary logic operations, adding integers, and sorting real numbers. Overall, performance is dramatically improved by the use of ACT, which successfully adapts the number of computational steps to the requirements of the problem. We also present character-level language modelling results on the Hutter prize Wikipedia dataset. In this case ACT does not yield large gains in performance; however it does provide intriguing insight into the structure of the data, with more computation allocated to harder-to-predict transitions, such as spaces between words and ends of sentences. This suggests that ACT or other adaptive computation methods could provide a generic method for inferring segment boundaries in sequence data.

研究の動機と目的

• 入力ステップごとに内部更新回数を動的に変化させるよう、再帰ネットワークを有効化する。
• 計算深度を決定する微分可能な停止機構を導入する。
• 損失関数に時間ペナルティを追加して効率的な計算を促す。
• parity、logic、addition、sort、およびWikipedia文字予測タスクで ACT をデモンストレーションする。

提案手法

• 各入力ステップで計算を停止する時期を決定するシグモイド停止ユニットを RNN に追加する。
• 同じ状態遷移 S を用いて n = 1..N(t) に対して中間状態 s_t^n と出力 y_t^n を計算する。
• 停止確率 p_t^n を停止活性化から定義し、それらが和が 1 になる有効な分布を形成することを保証する。
• 平均場更新 s_t = sum_n p_t^n s_t^n および y_t = sum_n p_t^n y_t^n を用いてサンプリングノイズを回避する。
• ponder コスト P(x) = sum_t rho_t（rho_t = N(t) + R(t)）を追加し、損失に L_hat = L + tau P(x) として組み込む。
• 停止ユニットの勾配を導出し、ACT 固有の勾配と M（最大更新回数）および epsilon（停止閾値）を用いた時系列バックプロパゲーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 ACT は標準的な RNN や LSTM と比較して、連続処理を要するタスク（パリティ、論理、加算、ソート）における系列学習性能を改善するか。
• RQ2 時間ペナルティパラメータ tau はタスク間で学習済み計算時間と精度にどのように影響するか。
• RQ3 ACT は自然言語テキストなどの系列データにおいて、解釈可能な計算パターンや境界を明らかにするか。
• RQ4 ACT を用いた場合、異なるタスク間で計算時間と精度のトレードオフはどのようになるか。
• RQ5 ACT は長い系列における内部状態の時間的整合性の学習を促進するか、それとも妨げるか。

主な発見

• ACT を用いたネットワークは、固定計算ベースラインと比較して合成系列タスクの誤差を大幅に低減した。
• より低い時間ペナルティ値（より多くの検討） は、パリティと論理の問題で一般的により速く正確な解を生み出し、実行ごとに多様な検討時間を示した。
• 加算タスクでは、ACT ネットワークはすべての tau 値で完全な精度を達成し、検討時間は桁数にほぼ線形に比例した。
• ソートタスクでは、ACT による顕著な誤差低減が見られたが、計算コストが大きく、検討時間は系列長に対して非線形かつより強く増加した。
• 百科事典の文字レベル予測では全体的な精度向上は小さかったが、ACT は単語境界や句読点での体系的な一時停止を示し、計算時間によって境界が推定されていることを示唆した。
• タスク全体で tau、検討時間、精度の関係はタスクごとに異なり、ACT は計算密度とタイミングの解釐されたパターンを提供した。