[論文レビュー] Reviving and Improving Recurrent Back-Propagation

Renjie Liao, Yuwen Xiong+6 more|arXiv (Cornell University)|Mar 16, 2018

Advanced Graph Neural Networks被引用数 30

ひとこと要約

この論文は、再帰的勾配逆伝播（RBP）を再活性化し、Neumann-RBPを導入することで、再帰的ネットワークのための従来の時間遡行バックプロパゲーション（BPTT）の代替手段として、微分可能で安定的かつ効率的な手法を改善した。Neumann系列を用いて勾配を反復的行列-ベクトル積により近似することで、BPTTと同等の収束性を達成しながら、標準RBPの不安定性を回避する。連続ホフスタッドネットワークおよびキャシオンネットワーク上で検証され、最先端の性能を示した。

ABSTRACT

In this paper, we revisit the recurrent back-propagation (RBP) algorithm, discuss the conditions under which it applies as well as how to satisfy them in deep neural networks. We show that RBP can be unstable and propose two variants based on conjugate gradient on the normal equations (CG-RBP) and Neumann series (Neumann-RBP). We further investigate the relationship between Neumann-RBP and back propagation through time (BPTT) and its truncated version (TBPTT). Our Neumann-RBP has the same time complexity as TBPTT but only requires constant memory, whereas TBPTT's memory cost scales linearly with the number of truncation steps. We examine all RBP variants along with BPTT and TBPTT in three different application domains: associative memory with continuous Hopfield networks, document classification in citation networks using graph neural networks and hyperparameter optimization for fully connected networks. All experiments demonstrate that RBPs, especially the Neumann-RBP variant, are efficient and effective for optimizing convergent recurrent neural networks. Code is released at: \url{https://github.com/lrjconan/RBP}.

研究の動機と目的

• 再帰的ニューラルネットワークの学習において、標準的な再帰的勾配逆伝播（RBP）の不安定性と収束問題を解決すること。
• 完全な時間遡行バックプロパゲーション（BPTT）の計算負荷を回避する、微分可能で安定的かつ効率的な代替手法を開発すること。
• 暗黙の関数定理とNeumann系列の収束を用いて、RBPおよびNeumann-RBPがBPTTと等価となる理論的条件を形式化すること。
• 連想記憶タスクおよびキャシオンネットワーク分類において、提案されたNeumann-RBP手法の実証的妥当性を検証し、優れた安定性と正確性を示すこと。

提案手法

• 逆ヤコビ行列のNeumann系列展開を用いて、RBPの微分可能近似としてNeumann-RBPを提案し、安定な勾配計算を可能にする。
• Neumann系列 ∑t=0∞JF,h∗t が収束する条件の下で、Neumann-RBPとBPTTが等価であることを導出する。
• 2つの最適化戦略を導入する：(I−JF,h∗)⊤(I−JF,h∗) の最小固有値の下界を正則化により最大化すること、およびLanczos法の微分を直接行うことにより最小固有値を計算すること。
• 自動微分を用いたシンプルなPyTorch実装を用い、10行未満のコードでNeumann-RBPを実装する。
• Neumann系列をKステップで切り捨てることで、KステップTBPTTの近似を実現し、メモリと計算量を削減した効率的な学習を可能にする。
• SGDとモーメンタムを用いて、連続ホフスタッドネットワークおよびキャシオンネットワークで、BPTT、TBPTT、RBP、CG-RBP、ARTBPと比較して手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 安定状態ダイナミクスを示す再帰的ネットワークにおいて、Neumann-RBPがBPTTと等価となる条件は何か？
• RQ2 最小固有値が (I−JF,h∗)⊤(I−JF,h∗) から0から離れていることを保証することで、RBPの安定性をどのように向上させられるか？
• RQ3 完全な時間遡行バックプロパゲーションを回避しながら、Neumann-RBPがBPTTと同等の性能を達成できるか？
• RQ4 実世界の時系列モデリングタスクにおいて、CG-RBP や ARTBP といった既存のRBP変種と比較して、Neumann-RBPの収束性と正確性はどのように異なるか？
• RQ5 長時間系列学習において、切り捨て長さがNeumann-RBPの性能に与える影響は何か？

主な発見

• 30ステップの切り捨てを用いた連続ホフスタッドネットワークタスクにおいて、Neumann-RBPは100%の成功率を達成したが、標準RBPは30ステップまで失敗を繰り返し、優れた安定性を示した。
• Coraキャシオンネットワークでは、Neumann-RBPはテスト精度46.63±8.3%を達成し、BPTT（24.48±6.6%）およびRBP（29.25±3.3%）を上回り、TBPTT（46.55±6.4%）と同等の性能を示したが、より安定性に優れた結果を示した。
• CoraおよびPubmedデータセットにおいて、Neumann-RBPはTBPTTの性能を再現し、それぞれ46.63±8.3%および42.22±7.1%の精度を達成した。ARTBPの変種を上回った。
• JF,h∗ のスペクトル半径が1未満である場合、Neumann系列を用いて完全な勾配を回復でき、理論的にBPTTと等価であることを保証した。
• 実装は非常に効率的で、PyTorchコードは10行未満であり、全系列を遡行バックプロパゲーションせずに、微分可能で安定した学習を可能にした。
• 100回の試行で乱数による破損を加えた初期化でも、Neumann-RBPは高い性能を維持したことが確認され、強靭性が裏付けられた。