[論文レビュー] When Recurrent Models Don't Need To Be Recurrent.

J. J. Miller, Moritz Hardt|arXiv (Cornell University)|May 25, 2018

Domain Adaptation and Few-Shot Learning参考文献 6被引用数 29

ひとこと要約

この論文は、安定な再帰的ニューラルネットワークが、推論および勾配降下法による学習の両方において、有効にフィードフォワードネットワークによって近似可能であることを示している。自然な安定性条件の下で、理論的および実験的結果は、系列学習のために再帰的モデルが本質的に必要ではないことを示しており、従来の再帰への依存を疑問視するものである。

ABSTRACT

We prove stable recurrent neural networks are well approximated by feed-forward networks for the purpose of both inference and training by gradient descent. Our result applies to a broad range of non-linear recurrent neural networks under a natural stability condition, which we observe is also necessary. Complementing our theoretical findings, we verify the conclusions of our theory on both real and synthetic tasks. Furthermore, we demonstrate recurrent models satisfying the stability assumption of our theory can have excellent performance on real sequence learning tasks.

研究の動機と目的

• 安定な再帰的ニューラルネットワークが、有効にフィードフォワードネットワークに置き換え可能かどうかを調査すること。
• 再帰が系列モデルにおいて本質的でない条件を同定すること。
• 再帰的ダイナミクスをフィードフォワードアーキテクチャで近似する理論的基盤を確立すること。
• 合成的および実世界の系列学習タスクにおいて理論を実証的に検証すること。

提案手法

• 安定性条件の下で再帰的ニューラルネットワークの理論的分析を行い、動的挙動が有界であることを保証する。
• 本論文は、安定なRNNが同程度の幅のフィードフォワードネットワークによって一様に近似可能であることを証明している。
• 近似は、推論および勾配降下法による学習の両方で成り立つことが示されている。
• 安定性条件は、再帰的遷移関数のリプシッツ制約として形式化されている。
• 合成タスクおよび実際の系列学習ベンチマークを用いた実証的検証が行われた。
• 安定なRNNとそのフィードフォワード近似との間で性能比較がなされた。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、フィードフォワードネットワークが、顕著な性能低下を伴わずに再帰的ネットワークを近似可能か？
• RQ2 安定性条件は、再帰的モデルとフィードフォワードモデルの間の同等性を保証するために十分かつ必要であるか？
• RQ3 安定なRNNは、再帰を必要とせずに、実際の系列学習タスクで優れた性能を達成できるか？
• RQ4 勾配降下法による学習中に、フィードフォワードネットワークは安定なRNNのダイナミクスをどの程度正確に近似できるか？
• RQ5 理論的近似は、多様な系列学習シナリオにおいて実際の状況でも成立するか？

主な発見

• 安定な再帰的ニューラルネットワークは、同程度の幅のフィードフォワードネットワークによって一様に近似可能である。
• 安定性条件は、近似が成立するための十分かつ必要条件である。
• 実験的結果は、フィードフォワードネットワークが合成的および実際の系列タスクでRNNと同等の性能を達成していることを確認している。
• 勾配降下法による学習がフィードフォワード近似でも保持されており、最適化ダイナミクスが維持されている。
• 安定性仮定を満たす再帰的モデルは優れた性能を示しており、再帰が本質的に必要ではないことを示唆している。