[論文レビュー] From Nodes to Networks: Evolving Recurrent Neural Networks

Aditya Rawal and Risto Miikkulainen|arXiv (Cornell University)|Mar 12, 2018

Evolutionary Algorithms and Applications参考文献 24被引用数 29

ひとこと要約

本論文では、木構造による符号化を用いた進化的手法を提案し、標準的なLSTM構造をはるかに超える改善された再帰的ニューラルネットワークアーキテクチャを自動で発見することを目的としている。複数の再帰的パスとメモリセルを持つノードを進化させることで、言語モデリング性能に顕著な向上が得られるとともに、探索を高速化し、多様性を促進するために補助的なLSTMを用いている。

ABSTRACT

Gated recurrent networks such as those composed of Long Short-Term Memory (LSTM) nodes have recently been used to improve state of the art in many sequential processing tasks such as speech recognition and machine translation. However, the basic structure of the LSTM node is essentially the same as when it was first conceived 25 years ago. Recently, evolutionary and reinforcement learning mechanisms have been employed to create new variations of this structure. This paper proposes a new method, evolution of a tree-based encoding of the gated memory nodes, and shows that it makes it possible to explore new variations more effectively than other methods. The method discovers nodes with multiple recurrent paths and multiple memory cells, which lead to significant improvement in the standard language modeling benchmark task. The paper also shows how the search process can be speeded up by training an LSTM network to estimate performance of candidate structures, and by encouraging exploration of novel solutions. Thus, evolutionary design of complex neural network structures promises to improve performance of deep learning architectures beyond human ability to do so.

研究の動機と目的

• 再帰的ネットワークアーキテクチャ設計の停滞に取り組む。ここ25年間、LSTM構造はほとんど変化していない。
• より効果的な再帰的ノード構造を発見するための自動的で進化的な手法を探索する。
• 新規な構造的設定を通じて、言語モデリングなどの順序処理タスクにおける性能を向上させる。
• 学習済みの性能予測器を用いて、高性能なアーキテクチャの探索を加速する。

提案手法

• ゲーテッドメモリノードのアーキテクチャを表現するために木構造による符号化を採用し、構造的変異の体系的探索を可能にする。
• 進化的アルゴリズムを用いて、符号化されたノード設計の空間を探索し、複数の再帰的パスとメモリセルを持つ構造を好む。
• 候補となるノードアーキテクチャの性能を予測する補助LSTMを訓練し、高価なトレーニング評価の回数を削減する。
• 多様性があり重複のないアーキテクチャの探索を促進するための新規性促進メカニズムを組み込む。
• 予測された性能と構造的多様性に基づいて、選択、突然変異、交差を用いてノード構造を進化させる。
• 標準的な言語モデリングベンチマーク上で進化したアーキテクチャを評価し、性能向上を検証する。

実験結果

リサーチクエスチョン

• RQ1 木構造による符号化を用いた進化的探索は、標準的なLSTMを上回る再帰的ノードアーキテクチャを発見できるか？
• RQ2 学習済みの性能予測器を用いることで、高性能なRNNアーキテクチャの探索がどの程度高速化されるか？
• RQ3 複数のメモリセルや再帰的パスといったアーキテクチャ的特徴は、進化的プロセスからどのように出現し、性能向上に寄与するか？
• RQ4 構造的多様性の促進が、効果的なアーキテクチャの発見をどの程度向上させるか？
• RQ5 進化したアーキテクチャは探索空間を越えて一般化し、標準ベンチマークで最先端の結果を達成できるか？

主な発見

• 進化したノードアーキテクチャは、ベースラインのLSTMと比較して、標準的な言語モデリングベンチマークで顕著な向上を示した。
• 複数の再帰的パスと複数のメモリセルを持つ構造が一貫して発見され、性能向上に寄与した。
• 性能予測LSTMの使用により、探索中の完全なトレーニング評価の回数が削減され、プロセスが高速化された。
• 探索プロセスに新規性の促進を組み込むことで、より多様で効果的なアーキテクチャが発見された。
• 進化的手法により、人間が設計したLSTMを上回るアーキテクチャが成功裏に発見され、自動化されたニューラルアーキテクチャ探索が人間の直感を凌駕する可能性を示した。