[論文レビュー] AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning

Ximeng Sun, Rameswar Panda+2 more|arXiv (Cornell University)|Nov 27, 2019

Domain Adaptation and Few-Shot Learning参考文献 67被引用数 121

ひとこと要約

AdaShare は、複数のタスクに跨って共有や専門化をどのネットワーク層に適用するかを決定するタスク特有の実行ポリシーを学習し、パラメータ数を大幅に減らしつつ計算を抑えつつ、競争力のある精度を実現します。

ABSTRACT

Multi-task learning is an open and challenging problem in computer vision. The typical way of conducting multi-task learning with deep neural networks is either through handcrafted schemes that share all initial layers and branch out at an adhoc point, or through separate task-specific networks with an additional feature sharing/fusion mechanism. Unlike existing methods, we propose an adaptive sharing approach, called AdaShare, that decides what to share across which tasks to achieve the best recognition accuracy, while taking resource efficiency into account. Specifically, our main idea is to learn the sharing pattern through a task-specific policy that selectively chooses which layers to execute for a given task in the multi-task network. We efficiently optimize the task-specific policy jointly with the network weights, using standard back-propagation. Experiments on several challenging and diverse benchmark datasets with a variable number of tasks well demonstrate the efficacy of our approach over state-of-the-art methods. Project page: https://cs-people.bu.edu/sunxm/AdaShare/project.html.

研究の動機と目的

• タスク数の増加に伴ってスケールする、効率的なマルチタスク学習（MTL）の必要性を動機づける。
• タスク間で共有するレイヤーと専門化するレイヤーを決定する、微分可能な手法を開発する。
• 強化学習を用いずに、タスク性能とリソース効率を共同で最適化する。
• 精度を維持しつつ共有を促進するトレーニング戦略と損失関数を提供する。

提案手法

• 各ネットワーク層に対してタスク専用の二値ポリシーをモデル化し、特定のタスクでその層を実行するかどうかを決定する。
• 離散的な共有/スキップ決定を微分可能に学習するために Gumbel-Softmax サンプリングを使用する。
• タスク特有の損失と正則化を用いたバックプロパゲーションによって、ネットワークの重みとポリシー・ロジットを共同で訓練する。
• 凝縮された共有に適したアーキテクチャを促進するために、スパース性と共有損失を導入する。
• カリキュラムのようなウォームアップとポリシースペースの段階的な狭窄を適用して、最適化を安定化させる。
• 別個のポリシーネットワークではなく、レイヤーのロジット上に直接ポリシーを学習することで、追加パラメータの負荷を小さく保つ。

実験結果

リサーチクエスチョン

• RQ1 1つのマルチタスクネットワーク内でタスクごとの実行経路を学習し、精度と効率の両方を最適化できるか？
• RQ2 学習されたタスク特異ポリシーは、必要な場所でタスク特異ブロックを許容しつつ、低〜中レベルの特徴を効果的に共有するか？
• RQ3 スパース性と共有正則化は、マルチタスクモデルのコンパクトさと性能にどう影響するか？
• RQ4 多様なデータセットに対して、AdaShareの性能とパラメータ効率は最先端のMTL手法と比較してどの程度か？
• RQ5 タスク数とドメインの増加に対して、手法はどの程度スケールするか？

主な発見

• AdaShare はしばしば NYU v2、CityScapes、Tiny-Taskonomy、DomainNet、NLP データセットで複数の指標において最良またはほぼ最良の性能を達成します。
• The method reduces parameters by about 50-80% compared to many baselines while maintaining or surpassing accuracy.
• Learned policies frequently favor sharing mid-level blocks (e.g., conv3_x in ResNet) among task groups to maximize positive transfer and limit negative transfer.
• Policy visualizations reveal task correlations align with intuitive domain similarities, guiding sharing patterns.
• AdaShare delivers 7.67%-18.71% FLOP savings on average and up to 80% parameter reductions with competitive or better accuracy.