[論文レビュー] Modular Universal Reparameterization: Deep Multi-task Learning Across Diverse Domains

Elliot Meyerson, Risto Miikkulainen|arXiv (Cornell University)|May 31, 2019

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

この論文は、視覚、自然言語処理（NLP）、ゲノム解析モデルなどの多様な深層学習アーキテクチャ間で学習済み機能を共有するための方法であるモジュラーユニバーサル再パラメータ化（MUiR）を紹介している。MUiRは、タスクを擬似タスクに分解し、それらを共有可能で再利用可能なコンponentsにマッピングするモジュラーハイパーネットワークを最適化することで実現する。MUiRは、評価されたすべてのタスクで最先端の性能を達成しており、アーキテクチャの重なりがなくても、異種アーキテクチャ間での知識共有が有効であることを示している。

ABSTRACT

As deep learning applications continue to become more diverse, an interesting question arises: Can general problem solving arise from jointly learning several such diverse tasks? To approach this question, deep multi-task learning is extended in this paper to the setting where there is no obvious overlap between task architectures. The idea is that any set of (architecture,task) pairs can be decomposed into a set of potentially related subproblems, whose sharing is optimized by an efficient stochastic algorithm. The approach is first validated in a classic synthetic multi-task learning benchmark, and then applied to sharing across disparate architectures for vision, NLP, and genomics tasks. It discovers regularities across these domains, encodes them into sharable modules, and combines these modules systematically to improve performance in the individual tasks. The results confirm that sharing learned functionality across diverse domains and architectures is indeed beneficial, thus establishing a key ingredient for general problem solving in the future.

研究の動機と目的

• 視覚、NLP、ゲノム解析タスクなど、アーキテクチャの重なりのない深層学習モデル間で、効果的な知識共有を可能にすること。
• 従来のマルチタスク学習手法が、事前のアライメントが欠如しているために失敗するような、異なるアーキテクチャ間でのパラメータのアライメントの課題に対処すること。
• 擬似タスクへのユニバーサルな分解を通じて、多様なドメイン間の暗黙的な正則性を発見・活用するフレームワークを開発すること。
• MUiRで訓練された共有モジュールがドメインを跨いで一般化し、個々のタスクの性能を向上させることを検証すること。
• 異種の問題タイプ間でモジュラーリング可能で再利用可能な知識移転を可能にすることで、人工知能における一般問題解決の基盤を築くこと。

提案手法

• 構造的な共有を可能にするために、各（アーキテクチャ、タスク）ペアを細分化された均等なサイズの擬似タスクに分解する。
• 擬似タスクとアーキテクチャから導出されるコンテキストベクトルに基づいて、タスク固有のパラメータを生成するハイパーネットワーク（ハイパーモジュール）を導入する。
• 擬似タスクとモジュール間のマッピングを最適化するため、ハイパーモジュールとタスク固有のモデルを同時に学習するための確率的最適化アルゴリズム（1+λ-ES）を用いる。
• モジュールが特定のタスクやアーキテクチャに偏らないようにするため、新しい初期化戦略（分離初期化）を採用し、一般化性能を向上させる。
• ハイパーモジュールにおける場所に依存するコンテキストを可能にするために、ハイパーパラメータ $ c $ を導入し、より洗練されたパラメータ共有を実現する。
• 共有ハイパーモジュールが複数の擬似タスクを解けるようにするモジュラーリパラメータ化スキームを採用し、下流タスクのメトリクスを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 CNN、LSTM、1D-CNN などのアーキテクチャの重なりのない深層学習モデル間で、学習済み機能を効果的に共有できるか？
• RQ2 タスクを擬似タスクにユニバーサルに分解することで、多様なドメイン間で効果的かつスケーラブルな知識移転が可能になるか？
• RQ3 初期化戦略の選択が、異種アーキテクチャ学習における共有モジュールの性能と一般化性能に与える影響は何か？
• RQ4 ハイパーモジュールにおけるコンテキストサイズが、多様なタスク間でのパラメータ共有の有効性に与える影響は何か？
• RQ5 AWD-LSTM などの実世界で高精度にチューニングされたモデルに適用した場合、MUiRは既存のマルチタスク学習ベースラインを上回る性能を示せるか？

主な発見

• MUiRは、すべてのタスクで古典的なマルチタスク学習法やアダプタベース手法を上回り、LeNetでは20.51のテスト誤差、Stacked LSTMでは130.70のパープレキシティ、DeepBindでは0.1464のAUCを達成した。
• 元のAWD-LSTMベースラインと同等の性能を維持しながら、LSTMパラメータを19.8Mから8.8Mに削減し、チューニング済み環境でも効率的なパラメータ共有が可能であることを示した。
• 階層的初期化を用いることで、標準ベースラインより性能が向上したが、MUiRの分離初期化に劣り、提案されたトレーニング方式の有効性を裏付けた。
• コンテキストサイズ $ c > 0 $ のハイパーモジュールは $ c = 0 $ のものよりも顕著に優れており、場所に依存するコンテキストが効果的な共有に不可欠であることを示した。
• フレームワークは、頻繁に共有されるモジュールがより高い一般化特性を示す、構造的でアーキテクチャ依存の共有ダイナミクスを可能にした。
• MUiRは、視覚、NLP、ゲノム解析タスクのすべてで最先端の結果を達成しており、クロスドメイン・クロスアーキテクチャの知識共有が実現可能で有益であることを確認した。