[論文レビュー] Sparse Attentive Backtracking: Long-Range Credit Assignment in Recurrent Networks

Nan Rosemary Ke, Anirudh Goyal+5 more|arXiv (Cornell University)|Nov 7, 2017

Advanced Graph Neural Networks参考文献 24被引用数 8

ひとこと要約

この論文では、再帰的ネットワークのための生物学的にインspiredな訓練アルゴリズムであるSparse Attentive Backtracking (SAB) を提案する。SABは、時間的に遠く離れた注意重み付き隠れ状態を、勾配の逆伝播を限定的に行うことで、完全なBPTTなしで効果的な長距離の責任割り当てを可能にする。SABは、序列モデリングタスクにおいて完全なBPTTと同等の性能を達成しながら、切り捨てられたBPTTと同程度の計算効率を維持する。

ABSTRACT

A major drawback of backpropagation through time (BPTT) is the difficulty of learning long-term dependencies, coming from having to propagate credit information backwards through every single step of the forward computation. This makes BPTT both computationally impractical and biologically implausible. For this reason, full backpropagation through time is rarely used on long sequences, and truncated backpropagation through time is used as a heuristic. However, this usually leads to biased estimates of the gradient in which longer term dependencies are ignored. Addressing this issue, we propose an alternative algorithm, Sparse Attentive Backtracking, which might also be related to principles used by brains to learn long-term dependencies. Sparse Attentive Backtracking learns an attention mechanism over the hidden states of the past and selectively backpropagates through paths with high attention weights. This allows the model to learn long term dependencies while only backtracking for a small number of time steps, not just from the recent past but also from attended relevant past states.

研究の動機と目的

• 勾配の消失と計算上の非現実性のため、長期間の依存関係を学習する際のバックプロパゲーションスルータイム（BPTT）の限界を克服すること。
• 最近の時間ステップに限定して逆伝播を行うことで、長距離の依存関係を無視するためのバイアスを生じる切り捨てられたBPTTの欠点を克服すること。
• 完全なBPTTの代替として、生物学的に妥当で計算的に効率的なアルゴリズムを開発し、訓練中に頻繁なパラメータ更新を可能にすること。
• 動的に関連する過去の状態を選択して勾配の流れを提供することで、かつてははるかに過去に発生した出来事からも学習できるようにすること。

提案手法

• 固定サイズの隠れ状態、過去のマイクロステートの増加するマクロステート、およびそれらマイクロステート上の注目メカニズムを備えた半パラメトリックRNNアーキテクチャを導入する。
• 微分可能注目メカニズムを用いて、現在の隠れ状態とすべての過去のマイクロステート間の関連スコアを計算し、勾配逆伝播に使用する最も顕著なものを選択する。
• 選択されたマイクロステートとその直近の時間的近傍のみに局所的な逆伝播を実行することで、計算コストを削減する。
• 動的な長距離のスキップ接続を時間的に可能にするスパース注目メカニズムを採用し、遠く離れた出来事間の責任割り当てを可能にする。
• 注目されたマイクロステートの周囲の小さなウィンドウで切り捨てられた逆伝播を用いて、標準的な最適化手法でモデルを訓練することで、頻繁な重み更新を実現する。
• 長期間のシーケンスにおけるメモリと計算コストを削減するための階層的注目メカニズムを採用し、将来の近似最近傍探索による最適化の可能性を示唆する。

実験結果

リサーチクエスチョン

• RQ1 完全なBPTTの計算コストを伴わず、シーケンスの終了を待たずに長期間の依存関係を学習できるか？
• RQ2 切り捨てられたBPTTと比較して、注目に基づく過去の状態の選択が、遠く離れた出来事の勾配の流れを改善できるか？
• RQ3 生物学的に妥当で計算的に実用的な訓練アルゴリズムで、BPTTレベルの性能を達成できるか？
• RQ4 SABは、長期間のシーケンスモデリングタスクにおいて、完全なBPTTおよび切り捨てられたBPTTと比較してどの程度の性能を示すか？

主な発見

• Text8言語モデリングタスクにおいて、SABはテスト時の文字あたりビット数（BPC）が1.53を達成し、完全なBPTT（1.51）に非常に近い性能を示し、切り捨てられたBPTT（1.60）を著しく上回った。
• 順次MNIST分類タスクにおいて、最適なハイパーパrameterを用いたSABは、テスト精度91.1%を達成し、完全なBPTT（90.3%）と同等の性能を示し、切り捨てられたBPTTを上回った。
• SABは複数のタスクで安定した性能を示し、注目によって選択された状態を介した選択的逆伝播が、効果的な長距離の責任割り当てを可能にしていることを示した。
• 限られたハイパーパrameterチューニングでも高い性能を維持したため、実世界の応用において安定的で実用的であることが示唆された。
• 結果から、SABは完全なBPTTの計算的負担を伴わず、切り捨てられたBPTTのバイアスを避けることで、長期間の依存関係を効果的に学習できることを示している。