[論文レビュー] Limits of End-to-End Learning

Tobias Glasmachers|arXiv (Cornell University)|Apr 26, 2017

Neural Networks and Applications参考文献 26被引用数 50

ひとこと要約

論文は、ネットワークがよりモジュラーになるにつれてエンドツーエンド学習（e2e）には限界があることを示し、e2e訓練が失敗する例や効率が悪化する実験を示し、構造化されたモジュール対応訓練を必要な代替として提案する。

ABSTRACT

End-to-end learning refers to training a possibly complex learning system by applying gradient-based learning to the system as a whole. End-to-end learning system is specifically designed so that all modules are differentiable. In effect, not only a central learning machine, but also all "peripheral" modules like representation learning and memory formation are covered by a holistic learning process. The power of end-to-end learning has been demonstrated on many tasks, like playing a whole array of Atari video games with a single architecture. While pushing for solutions to more challenging tasks, network architectures keep growing more and more complex. In this paper we ask the question whether and to what extent end-to-end learning is a future-proof technique in the sense of scaling to complex and diverse data processing architectures. We point out potential inefficiencies, and we argue in particular that end-to-end learning does not make optimal use of the modular design of present neural networks. Our surprisingly simple experiments demonstrate these inefficiencies, up to the complete breakdown of learning.

研究の動機と目的

• ネットワークがモジュラーな複雑性を増すにつれてエンドツーエンド学習のスケーラビリティを問う動機を説明する。
• モジュール間の結合がe2e設定で学習を阻害し得ることを評価する。
• 複数モジュール系に対してe2e訓練が指数的に難しくなったり失敗することを実験を通して示す。
• 訓練はネットワーク構造を尊重すべきであり、モジュール化された段階的訓練アプローチを検討すべきであると提案する。

提案手法

• 本論文はエンドツーエンド学習の概念的批評を提供し、モジュール化されたネットワーク上でe2e訓練をストレステストするための2つの実験設定を概説する。
• 実験1は小さなモジュールのスケーラブルな積み重ねを用い、積み重ねられたモジュールの数が増えると訓練の難易度がほぼ指数関数的に増加することを示す。
• 実験2はRoboRallyのようなグリッドワールドの計画タスクを用いて、相互依存性が共同学習を妨げる2モジュール系を作る。
• 訓練性能はエンドツーエンド訓練とモジュール化・逐次訓練アプローチとで比較される。
• 著者らは、勾配信号がネストされたモジュールを通じてどのように伝播するか、そして非自明なモジュール間結合が学習を劣化させる可能性を分析する。

実験結果

リサーチクエスチョン

• RQ1 多くの相互に作用するモジュールで構成されるネットワークの場合、エンドツーエンド学習は効率的にスケールするか。
• RQ2 中程度に複雑なモジュールアーキテクチャでエンドツーエンド訓練は崩壊することがあるか。
• RQ3 モジュールを個別に（または構造化された順序で）訓練することで、観察されたe2e学習の失敗を克服できるか。
• RQ4 大規模で複数の要素を含む学習システムを設計する際の実用的な影響は何か。

主な発見

• ネットワークの複雑さが増すにつれてエンドツーエンド学習は非効率的になり、訓練労力は積み重ねられたモジュールの数に対して指数的に増加する。
• 複数モジュールからなるアーキテクチャではエンドツーエンド訓練が完全に失敗し、すべてのモジュールが初期重みに近い状態のままになることがある。
• モジュールを1つずつ、あるいはネットワーク設計に合わせた構造化された順序で訓練することで、e2e訓練で観察される障害を回避または軽減できる。
• 他のモジュールがすでに訓練され凍結されている場合、単純でよく定義された小さなモジュールでも信頼性高く学習することが示され、分解型訓練戦略の利点を浮き彫りにしている。
• 決定論的環境での計画ベースの2モジュール系は、モジュール間の相互依存性を示し、段階的訓練なしには共同学習を妨げる可能性がある。