[論文レビュー] Which Tasks Should Be Learned Together in Multi-task Learning?

Trevor Standley, Amir Zamir+4 more|arXiv (Cornell University)|May 18, 2019

Domain Adaptation and Few-Shot Learning参考文献 65被引用数 68

ひとこと要約

本論文はマルチタスク学習におけるタスク間の相互作用を分析し、推論予算を固定した状態でタスクをネットワークにグルーピングする枠組みを導入して総合精度を最大化することを目的とする。タスクアフィニティはネットワークサイズ・データ・設定に依存することを示している。

ABSTRACT

Many computer vision applications require solving multiple tasks in real-time. A neural network can be trained to solve multiple tasks simultaneously using multi-task learning. This can save computation at inference time as only a single network needs to be evaluated. Unfortunately, this often leads to inferior overall performance as task objectives can compete, which consequently poses the question: which tasks should and should not be learned together in one network when employing multi-task learning? We study task cooperation and competition in several different learning settings and propose a framework for assigning tasks to a few neural networks such that cooperating tasks are computed by the same neural network, while competing tasks are computed by different networks. Our framework offers a time-accuracy trade-off and can produce better accuracy using less inference time than not only a single large multi-task neural network but also many single-task networks.

研究の動機と目的

• タスク間の関係がマルチタスク学習の性能に与える影響を特徴づける。
• 同じネットワーク内でタスクをグルーピングするタイミングと、それを分離するべき場合を特定する。
• 推論時の制約の下で総損失を最適化するようなタスクのグルーピングを選択する枠組みを開発する。

提案手法

• Taskonomyデータセットを用い、2つの5タスクセットでタスク間の協調と干渉を経験的に研究する。
• ネットワークサイズ、データセットサイズ、タスク類似性がマルチタスクアフィニティに与える影響を評価する。
• 予算 b 内でタスクの部分集合を解くネットワークの集合を選択する最適化問題を定義し解く。
• 候補ネットワークの学習時間を削減する近似法（ESAとHOA）を提案する。
• シングルタスクネットワークや全タスクを1つのネットワークで扱うベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 異なるネットワーク容量とデータレジームにおいて、タスク間の関係はマルチタスク学習の性能にどのように影響するか。
• RQ2 固定された推論時予算の下で、タスクを自動的にネットワークへ割り当てて総損失を最大化できるか。
• RQ3 転移学習のアフィニティは設定間でのマルチタスクアフィニティを予測するか。
• RQ4 ネットワーク性能を予測し、タスクグルーピング探索を高速化する効果的な近似法は何か。

主な発見

• 限定容量を用いた場合、総計算量が同等でもマルチタスクネットワークはシングルタスクネットワークに及ばないが、容量を再配分または増加させると性能を上回ることがある。
• タスクアフィニティは設定依存性が高い。大きなネットワークはより有益なグルーピングを明らかにする一方、小さなネットワークは弱いまたは異なるアフィニティを示す。
• 表面法線は他のタスクの性能を安定して改善するが、Normalsタスク自体は共訓練時に劣化することが多い。
• 転移学習アフィニティ（Taskonomy）はマルチタスクアフィニティを強く予測しない；設定間での頑健な相関は見られない。
• 設計されたタスクグルーピングの枠組みは、予算をまたいで従来のベースライン（シングルタスク、全タスクを1つのネットワークで）を上回ることができる。最適なグルーピングは予算とネットワーク容量に適応する。