[論文レビュー] Learning Hierarchical Information Flow with Recurrent Neural Modules

Danijar Hafner, Alexander Irpan+2 more|arXiv (Cornell University)|Jun 18, 2017

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

ThalNetは、新皮質における丘腦のルーティングにインspiredされた再帰的ニューラルネットワークアーキテクチャであり、複数のモジュラーネットワークが中央集権的なルーティングセンターを通じて特徴を共有することで、階層的で動的な情報フローを学習する。このモデルは順序付きタスクにおいて標準的なRNNを上回り、スキップ接続やフィードバック接続のような接続パターンを自動で発見する。

ABSTRACT

We propose ThalNet, a deep learning model inspired by neocortical communication via the thalamus. Our model consists of recurrent neural modules that send features through a routing center, endowing the modules with the flexibility to share features over multiple time steps. We show that our model learns to route information hierarchically, processing input data by a chain of modules. We observe common architectures, such as feed forward neural networks and skip connections, emerging as special cases of our architecture, while novel connectivity patterns are learned for the text8 compression task. Our model outperforms standard recurrent neural networks on several sequential benchmarks.

研究の動機と目的

• 固定されたアーキテクチャを事前に規定するのではなく、ニューラルモジュール間の柔軟でタスク適応的な接続性を学習する深層学習モデルの開発。
• 再帰的モジュール間での特徴共有を可能にする中央集権的なルーティングセンターを導入することで、新皮質の丘脳を介した通信を模倣する。
• 順序付きモデリングにおいてフィードフォワードおよびフィードバック経路をサポートする、動的で階層的な情報フローを実現する。
• エンドツーエンドの学習を通じて、スキップ接続やフィードバック接続といった新しいタスク固有の接続パターンを発見する。
• 共有センター・ベクトルを介して複数の時間ステップにわたってモジュールが特徴を共有することを許容することで、順序付きベンチマークでのパフォーマンスを向上させる。

提案手法

• ThalNetは、文脈入力 $ c^i_t $ とタスク入力 $ x^i_t $ をもとに特徴 $ \phi^i_t $ を生成する再帰的モジュール $ f^i $ の集合を使用する。
• すべてのモジュール特徴は、通常は連結によって行われる、共有センター・ベクトル $ \Phi_t = m(\phi^1_t, \dots, \phi^I_t) $ に統合される。
• 各モジュールは、微分可能読み取り機構 $ c^i_{t+1} = r^i(\Phi_t, \phi^i_t) $ を用いて次の時間ステップでセンター・ベクトルから読み取る。これにより、特徴の選択的再利用が可能になる。
• 読み取り機構はセンター・ベクトルとモジュール自身の特徴の両方に条件付けられており、モジュールの独立性を保ちつつ、複雑なルーティングを可能にする。
• ルーティング・センターを介してすべてのモジュールに逆伝播する勾配を用いてエンドツーエンドで学習されるため、動的接続性の学習が可能になる。
• このアーキテクチャは並列モジュール計算とアンロールド時間的処理をサポートしており、階層的かつ再帰的な情報フローを実現する。

実験結果

リサーチクエスチョン

• RQ1 固定された接続性を事前に定義せずに、ニューラルモジュール間で階層的で動的な情報フローを学習できる深層学習モデルは存在するか？
• RQ2 丘脳にインspiredしたルーティング・センターは、スキップ接続やフィードバック接続といった有益な接続パターンの発見を可能にするか？
• RQ3 モジュール間で特徴を動的ルーティングすることで、順序付きタスクにおいて標準的な再帰的ネットワークを上回ることができるか？
• RQ4 学習された接続パターンは、言語モデリングや並び替えられたMNISTなどの異なるタスクにどのように適応するか？
• RQ5 学習されたルーティングを通じて、深さと幅のトレードオフを必要とするタスクへの一般化が可能か？

主な発見

• ThalNetは、並び替えられたMNISTやCIFAR-10を含む順序付きベンチマークにおいて、標準的な多層再帰的ネットワークを上回る性能を示した。
• モデルは階層的な情報フローを学習し、入力データを段階的に処理するモジュールの鎖を形成した。
• ResNet や DenseNet に類似したスキップ接続が、学習された接続パターンの一部として自然に出現した。
• フィードバック接続も発見されたが、これらは深層学習でのパフォーマンス向上に寄与し、生物学的にも妥当である。
• text8 言語モデリングタスクでは、標準アーキテクチャをはるかに超える、タスク固有の新しい接続構造を学習した。
• ルーティング・センターにより、時間経過に伴い動的かつ選択的に特徴を再利用できるようになり、複雑な計算経路をサポートした。