[論文レビュー] Evolutionary Architecture Search For Deep Multitask Networks

Jason Liang, Elliot Meyerson+1 more|arXiv (Cornell University)|Mar 10, 2018

Evolutionary Algorithms and Applications参考文献 45被引用数 8

ひとこと要約

本稿では、共有されるとともに進化されたモジュールと、タスク固有のルーティングトポロジーを組み合わせることで、深層マルチタスクニューラルネットワーク向けの進化的アーキテクチャ探索フレームワークを提案する。モジュールアーキテクチャとルーティング構造の両方を同時に進化させることで、Omniglot多アルファベット認識ベンチマークでSOTA（88%の精度）を達成し、従来手法（特にソフトオーダリング）を著しく上回った。

ABSTRACT

Multitask learning, i.e. learning several tasks at once with the same neural network, can improve performance in each of the tasks. Designing deep neural network architectures for multitask learning is a challenge: There are many ways to tie the tasks together, and the design choices matter. The size and complexity of this problem exceeds human design ability, making it a compelling domain for evolutionary optimization. Using the existing state of the art soft ordering architecture as the starting point, methods for evolving the modules of this architecture and for evolving the overall topology or routing between modules are evaluated in this paper. A synergetic approach of evolving custom routings with evolved, shared modules for each task is found to be very powerful, significantly improving the state of the art in the Omniglot multitask, multialphabet character recognition domain. This result demonstrates how evolution can be instrumental in advancing deep neural network and complex system design in general.

研究の動機と目的

• 最適な深層マルチタスクネットワークアーキテクチャを設計する課題に取り組むこと。これは、人為的な設計には不適切なほど複雑である。
• 進化的アルゴリズムが、マルチタスクネットワークにおけるモジュール設計とモジュール間ルーティングの両方を効果的に最適化できるかを検討すること。
• 共有モジュールとタスク固有のルーティングトポロジーの協調的組み合わせを発見することで、マルチタスク学習のパフォーマンスを向上させること。
• アーキテクチャの構成要素（モジュールとトポロジー）を同時に進化させることのマルチタスク学習パフォーマンスへの影響を評価すること。

提案手法

• マルチタスク学習の文脈で、共有モジュールのアーキテクチャとそれらの間のルーティングトポロジーを、進化的アルゴリズムを用いて同時に進化させる。
• 各タスクに特化したルーティング経路を新たに進化させ、各タスクにおけるモジュールの順序と組み合わせを決定する。
• この手法は、ソフトオーダリングアーキテクチャを拡張したものであり、ルーティングとモジュール設計の両方がneuroevolutionによって最適化可能である。
• すべてのタスクに共通するブループrintルーティングと、汎用的なモジュールを同時に進化させることで、固定ルーティング戦略よりもパフォーマンスを向上させる。
• 二段階の進化ループ（外側のループでルーティングトポロジーを進化させ、内側のループでモジュールアーキテクチャを進化）を用いた共進化プロセスを採用する。
• 多様性を維持し、タスク固有のモジュールとトポロジーの効果的な組み合わせを発見するため、NEATベースのneuroevolution（CoDeepNEAT）を活用する。

実験結果

リサーチクエスチョン

• RQ1 進化的アルゴリズムは、深層マルチタスクネットワークにおけるモジュールアーキテクチャとルーティングトポロジーの両方を効果的に最適化できるか？
• RQ2 共有されるとともに進化されたモジュールとタスク固有のルーティングを同時に進化させることで、固定ルーティングや単一コンponent最適化よりもパフォーマンスが向上するか？
• RQ3 進化されたモジュール設計とルーティングトポロジーは、手動設計や標準アーキテクチャ（例：ソフトオーダリング）と比較してどのように異なるか？
• RQ4 タスク間でモジュール重みを共有することで、進化したアーキテクチャのパフォーマンスがどの程度向上するか？
• RQ5 進化プロセスは、類似したアルファベット（例：グルムキーとマラティ）に対して類似したトポロジーを発見できるか、すなわち意味のある構造的相関を発見できるか？

主な発見

• 提案されたモジュールとトポロジーの共進化（CMTR）は、Omniglotベンチマークで88%の精度を達成し、ソフトオーダリングベースライン（67%）および他の変種を著しく上回った。
• 進化されたモジュールは体系的な多様性を示し、単純なものと複雑なものがあり、それらは非一様にさまざまなタスクで再利用された。
• 類似したアルファベット（例：グルムキーとマラティ）は、類似したルーティングトポロジーを進化させた。これは、進化プロセスが意味のある構造的相関を発見したことを示している。
• モジュールとトポロジーの共進化は、それぞれを個別に最適化するのよりも効果的であり、両者の相乗効果が裏付けられた。
• 複数回の実行において、同じアルファベットに対して一貫して類似したトポロジーが発見された。これは、探索プロセスの安定性と収束性を示している。
• 結果から、タスク間でモジュール重みを共有することがパフォーマンスに不可欠であることが確認された。これは、共有表現にタスク要件を統合可能にするからである。