[論文レビュー] Navigating the Trade-Off between Multi-Task Learning and Learning to Multitask in Deep Neural Networks

Sachin Ravi, Sebastian Musslick+3 more|arXiv (Cornell University)|Jul 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 10

ひとこと要約

この論文は、深層ニューラルネットワークにおける、マルチタスク学習（高速学習のための共有表現）とマルチタスキング（同時に実行するための別個表現）のトレードオフを調査する。本研究では、環境固有のシリアル化コストに応じて、シングルタスク学習とマルチタスク学習の間で動的に切り替えるメタラーニングアルゴリズムを提案し、ノイズのある入力が存在する状況を含め、さまざまな条件下でほぼ最適なパフォーマンスを達成する。

ABSTRACT

The terms multi-task learning and multitasking are easily confused. Multi-task learning refers to a paradigm in machine learning in which a network is trained on various related tasks to facilitate the acquisition of tasks. In contrast, multitasking is used to indicate, especially in the cognitive science literature, the ability to execute multiple tasks simultaneously. While multi-task learning exploits the discovery of common structure between tasks in the form of shared representations, multitasking is promoted by separating representations between tasks to avoid processing interference. Here, we build on previous work involving shallow networks and simple task settings suggesting that there is a trade-off between multi-task learning and multitasking, mediated by the use of shared versus separated representations. We show that the same tension arises in deep networks and discuss a meta-learning algorithm for an agent to manage this trade-off in an unfamiliar environment. We display through different experiments that the agent is able to successfully optimize its training strategy as a function of the environment.

研究の動機と目的

• 共有表現（高速学習のため）と別個表現（より良いマルチタスキングのため）のトレードオフが、深層畳み込みネットワークに存在するかどうかを調査すること。
• シングルタスク学習とマルチタスク学習の選択が、このトレードオフを管理するための制御メカニズムとして有効かどうかを評価すること。
• 未知のシリアル化コストを伴う環境において、最適な訓練戦略を選択するメタラーニングアルゴリズムの設計と検証を行うこと。
• さまざまなタスクの難易度とノイズレベルにおいて、メタラーナーのパフォーマンスを評価すること。

提案手法

• 研究は、タスク実行を制御するためのタスク固有の入力ベクトルを備えた深層畳み込みネットワークアーキテクチャを用いる。
• 2つの訓練レジームを比較する：シングルタスク学習（別個表現）とマルチタスク学習（共有表現）。
• メタラーニングアルゴリズムは、観測された報酬と推定されたシリアル化コストに基づき、シングルタスク学習とマルチタスク学習の間で選択を行う。
• メタラーナーは確率的方策を用いて戦略をサンプリングし、強化学習の原則に従って方策を更新する。
• 決定論的およびノイズのある入力環境での実験により、耐性と適応性をテストする。
• パフォーマンスは5,000回の試行における累積報酬で評価され、15回のランで平均化された信頼区間を用いる。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習とマルチタスキングのトレードオフは、深層畳み込みネットワークにおいても継続的に存在するか？
• RQ2 シングルタスク学習とマルチタスク学習の選択が、学習速度とマルチタスキング能力のトレードオフを効果的に管理できるか？
• RQ3 未知のシリアル化コストを伴う環境において、メタラーニングエージェントはその訓練戦略をどれほど適応的に変更できるか？
• RQ4 入力のノイズは、シングルタスク学習とマルチタスク学習の最適な選択にどのように影響するか？
• RQ5 シリアル化コストが増加するに従い、メタラーナーは最適戦略に収束するか？

主な発見

• メタラーニングアルゴリズムは、さまざまなシリアル化コストにおいて、最適戦略に非常に近い報酬率を達成する。
• 高いシリアル化コストの環境では、メタラーナーがシングルタスク学習の試行割合を滑らかに減少させることで、効果的な適応が行われている。
• 高いノイズや複雑さのため最適戦略が曖昧な状況では、メタラーナーは最悪ケース戦略に近づく性能を示し、より長い探索時間に起因する。
• 未知のコストを伴う環境では、固定戦略（常にシングルタスクまたは常にマルチタスク）よりもメタラーナーが優れたパフォーマンスを発揮する。
• ノイズのある環境では、シングルタスク学習がより大きな利益をもたらすことが示され、不確実性下では共有表現の価値が高まることを示唆する。
• 学習速度とマルチタスキング能力のトレードオフは、深層ネットワークにおいても顕著であり、浅いモデルの発見をより複雑な環境で裏付けた。