[論文レビュー] Routing Networks and the Challenges of Modular and Compositional Computation

Clemens Rosenbaum, Ignacio Cases+2 more|arXiv (Cornell University)|Apr 29, 2019

Multimodal Machine Learning Applications参考文献 77被引用数 39

ひとこと要約

本論文は、モジュラーで構成的な学習フレームワークである routing networks を分析し、モジュールとそれらの組み合わせ戦略の両方を学習する際に生じる訓練上の課題に焦点を当てています。

ABSTRACT

Compositionality is a key strategy for addressing combinatorial complexity and the curse of dimensionality. Recent work has shown that compositional solutions can be learned and offer substantial gains across a variety of domains, including multi-task learning, language modeling, visual question answering, machine comprehension, and others. However, such models present unique challenges during training when both the module parameters and their composition must be learned jointly. In this paper, we identify several of these issues and analyze their underlying causes. Our discussion focuses on routing networks, a general approach to this problem, and examines empirically the interplay of these challenges and a variety of design decisions. In particular, we consider the effect of how the algorithm decides on module composition, how the algorithm updates the modules, and if the algorithm uses regularization.

研究の動機と目的

• モジュラーで構成可能な計算を、組み合わせの複雑さと次元の呪縛を解く解決策として動機づける。
• routing networks に特有の主要な訓練課題を特定し、明確にする。
• モジュールの組み合わせ、モジュールの更新、正則化が学習に与える影響を分析する。
• 訓練戦略とアーキテクチャを含む、routing に関する設計選択へ実証的な洞察を提供する。

提案手法

• モジュールとその組み合わせ戦略を共同最適化する一般的なパラダイムとして routing networks を説明する。
• 強化学習と再パラメタ化アプローチを中心に、routing の訓練戦略をレビューする。
• 最適化手法やルータアーキテクチャなどの設計決定を分析する。
• 訓練の安定性、崩壊、過剰適合へ不同な選択がどのように影響するかを実証的に比較する。
• 統一的な形式的枠組みの欠如を論し、routing を coagent および Meta-MDP の形式論と関連づける。

実験結果

リサーチクエスチョン

• RQ1 モジュール構成要素とそれらのルーティング戦略の両方を学習する際に生じる核心的な訓練課題は何か。
• RQ2 訓練の安定性、モジュール崩壊、過剰適合といった問題は routing networks でどのように現れるのか。
• RQ3 ルータ訓練とアーキテクチャにおけるどの設計選択がこれらの課題に影響を与えるのか。
• RQ4 強化学習と再パラメタ化は routing の意思決定に対して体系的な訓練戦略を提供し得るのか。
• RQ5 モジュール型で構成的な学習をより良く形式化する理論的フレームワークは何か。

主な発見

• routing networks はモジュールとルーティングポリシーの同時更新による非定常性に直面する。
• ルータがモジュールの一部を過度に使用する場合、モジュール崩壊が発生し多様性と性能を阻害する。
• ルータが高度に局所的で専門的な解を作成できることにより、過剰適合が悪化する可能性がある。
• ルータとモジュールを jointly train するための統一的な形式的フレームワークが欠如しており、収束保証を困難にする。
• 正則化、カリキュラム戦略、メタ情報ベースの routing は一部の不安定性と崩壊を緩和できる。
• 実証分析は、routing decisions における探索、転移、干渉のトレードオフを強調する。