[論文レビュー] Task Adaptive Parameter Sharing for Multi-Task Learning

Matthew Wallingford, Hao Li+5 more|arXiv (Cornell University)|Mar 30, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、微分可能で連続的なリブートを用いて、各下流タスクごとに事前学習モデル内の最小限のレイヤー部分集合を選択的に微調整する、タスク適応的パラメータ共有（TAPS）を提案する。スパarsity正則化を用いて性能と効率のバランスを図る。TAPSはResNet、DenseNet、ビジョン変換器アーキテクチャにおいて、メモリとパラメータのオーバーヘッドを著しく削減しながら、完全微調整の性能に匹敵する。また、AdaShareに比べてタスク固有パラメータが0.46倍しか増加しない。

ABSTRACT

Adapting pre-trained models with broad capabilities has become standard practice for learning a wide range of downstream tasks. The typical approach of fine-tuning different models for each task is performant, but incurs a substantial memory cost. To efficiently learn multiple downstream tasks we introduce Task Adaptive Parameter Sharing (TAPS), a general method for tuning a base model to a new task by adaptively modifying a small, task-specific subset of layers. This enables multi-task learning while minimizing resources used and competition between tasks. TAPS solves a joint optimization problem which determines which layers to share with the base model and the value of the task-specific weights. Further, a sparsity penalty on the number of active layers encourages weight sharing with the base model. Compared to other methods, TAPS retains high accuracy on downstream tasks while introducing few task-specific parameters. Moreover, TAPS is agnostic to the model architecture and requires only minor changes to the training scheme. We evaluate our method on a suite of fine-tuning tasks and architectures (ResNet, DenseNet, ViT) and show that it achieves state-of-the-art performance while being simple to implement.

研究の動機と目的

• マルチタスク学習における、各下流タスクごとに別々のモデルを訓練する際の高いメモリとパラメータコストを低減すること。
• インクリメンタルおよびジョイントマルチタスク学習の文脈で、タスク干渉と深刻な忘却を軽減すること。
• アーキテクチャの変更や手作業で設計されたルールなしに、効果的なアーキテクチャ固有のパラメータ共有パターンを発見すること。
• 標準のトレーニングパイプラインへの最小限の変更で、効率的かつスケーラブルなマルチタスク学習を可能にすること。
• 完全微調整の性能に匹敵するが、タスク固有パラメータ数を最小限に抑えた性能を達成すること。

提案手法

• TAPSは、タスク固有の重み変動量のゲーティングを用いて、層選択を連続的かつ微分可能な最適化問題として定式化する。
• 事前学習ベースモデルとの共有を促進するために、有効（微調整対象）レイヤー数に対するスパarsityペナルティを導入する。
• 確率的勾配降下法を用いて、タスク固有の重みと層選択を同時に最適化することで、エンドツーエンドのトレーニングを可能にする。
• TAPSはモデルアーキテクチャを変更しない。代わりに、各タスクごとに既存のレイヤーの小さな適応的サブセットを再トレーニングする。
• アーキテクチャに依存しないアプローチであり、標準的な微調整手法へのわずかな変更で実装可能である。
• 直感的でないパターンも発見可能である。例えば、ビジョン変換器では自己注意層のみを微調整し、フィードフォワード層は共有する。

Figure 1 : Overview of our approach. Difference between (b) our approach, (a) feature extractor as well as (c) finetuning. Here we have two tasks $T_{1}$ and $T_{2}$ . $T_{1}$ shown by turquoise and $T_{2}$ by green. Yellow boxes denote the base network layer. Our approach adds task specific paramet

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更や手作業で設計されたルールなしに、事前学習モデル内でどのレイヤーを適応すべきかを学習できるか？
• RQ2 層選択の微分可能で連続的なリブートが、完全微調整に近い性能を達成しつつ、タスク固有パラメータを最小限に抑えることができるか？
• RQ3 TAPSは、ジョイントおよびインクリメンタルマルチタスク学習の両設定で、AdaShareのような既存のパラメータ共有手法を上回る性能を示せるか？
• RQ4 TAPSは、ビジョン変換器における注意層に焦点を当てるなど、アーキテクチャ固有の効果的な共有パターンを自動で発見できるか？
• RQ5 二段階法（例：AdaShare）と比較して、TAPSのパラメータ効率性とトレーニングコストはどの程度か？

主な発見

• TAPSはResNet-34を用いたDomainNetで最先端の性能を達成し、インクリメンタルMTL設定においてAdaShareを平均2.18%上回り、パラメータ効率性は18%高い。
• ジョイントMTL設定では、TAPSは完全微調整の精度（DomainNetにおけるトップ1精度80.28%）に匹敵するが、AdaShareに比べてタスク固有パラメータが0.46倍しか増加しない。
• TAPSはタスク固有でアーキテクチャに配慮した微調整パターンを発見する：ResNetsでは主に最終層を適応し、ビジョン変換器では自己注意層のみを選択的に微調整する。
• TAPSはジョイントおよびインクリメンタルトレーニングの両方で安定した性能を維持する。一方、完全微調整はジョイント設定でタスク競合と性能低下を示す。
• AdaShareに比べてトレーニングオーバーヘッドが最小限であり、ポリシー学習と複数回のアーキテクチャサンプリングを含む高コストな二段階トレーニングプロセスを必要としない。
• より大きなネットワーク（ResNet-50）を使用しても、AdaShareの性能はわずかに低下する。これは、能力が制限要因ではないことを示唆し、TAPSの効率性と頑健性を強調する。

Figure 2 : Accuracy vs Task Specific Layers: Accuracy vs percentage of task specific layers for the Cars dataset is shown. Varying $\lambda$ gives a variety of configuration. With even a very few task specific layers (high $\lambda$ ), we perform significantly better than the feature extraction base