[論文レビュー] Identification of Negative Transfers in Multitask Learning Using Surrogate Models

Dongyue Li, Huy L. Nguyên+1 more|arXiv (Cornell University)|Mar 25, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、複数のタスク学習における負の転送を特定するためのサーミュラートモデリング手法を提案する。具体的には、ソースタスクのサブセットをサンプリングし、事前に計算されたパフォーマンスに基づいて線形回帰モデルを訓練し、未観測のサブセットのパフォーマンスを予測する。この手法により、関連度スコアを用いて有益なソースタスクを効率的に同定でき、従来の類縁度測定手法に比べて負の転送をはるかに高精度に検出でき、弱教師ありベンチマークの性能を向上させる。

ABSTRACT

Multitask learning is widely used in practice to train a low-resource target task by augmenting it with multiple related source tasks. Yet, naively combining all the source tasks with a target task does not always improve the prediction performance for the target task due to negative transfers. Thus, a critical problem in multitask learning is identifying subsets of source tasks that would benefit the target task. This problem is computationally challenging since the number of subsets grows exponentially with the number of source tasks; efficient heuristics for subset selection do not always capture the relationship between task subsets and multitask learning performances. In this paper, we introduce an efficient procedure to address this problem via surrogate modeling. In surrogate modeling, we sample (random) subsets of source tasks and precompute their multitask learning performances. Then, we approximate the precomputed performances with a linear regression model that can also predict the multitask performance of unseen task subsets. We show theoretically and empirically that fitting this model only requires sampling linearly many subsets in the number of source tasks. The fitted model provides a relevance score between each source and target task. We use the relevance scores to perform subset selection for multitask learning by thresholding. Through extensive experiments, we show that our approach predicts negative transfers from multiple source tasks to target tasks much more accurately than existing task affinity measures. Additionally, we demonstrate that for several weak supervision datasets, our approach consistently improves upon existing optimization methods for multitask learning.

研究の動機と目的

• すべてのソースタスクを組み合わせることでターゲットタスクのパフォーマンスが低下する、多タスク学習における負の転送の課題に対処すること。
• ターゲットタスク学習を向上させる最適なソースタスクサブセットを効率的に選択する手法を開発すること。
• 指数関数的に増加するソースタスクサブセットのすべてを評価する計算負荷を軽減すること。
• 複雑なタスク関係を捉えられないヒューリスティックなサブセット選択手法に代わる手法を提供すること。
• 未観測のタスクサブセットに対する多タスク学習パフォーマンスを正確に予測すること。

提案手法

• ターゲットタスクのパフォーマンスを評価するために、ソースタスクのランダムサブセットをサンプリングする。
• 既存のMTLフレームワークを用いて、各サンプリングされたサブセットの多タスク学習パフォーランスを事前に計算する。
• タスクサブセットとそのパフォーマンスの関係を近似するため、線形回帰サーミュラートモデルを訓練する。
• 訓練されたモデルを用いて、再トレーニングなしに未観測のタスクサブセットのパフォーマンスを予測する。
• サーミュラートモデルの係数から、各ソースタスクとターゲットタスク間の関連度スコアを導出する。
• 関連度スコアをしきい値処理することで、寄与度が低いか有害なソースタスクを除外し、サブセット選択を実行する。

実験結果

リサーチクエスチョン

• RQ1 サーミュラートモデリングは、未観測のソースタスクサブセットに対する多タスク学習パフォーランスを効果的に予測できるか？
• RQ2 提案手法は、従来のタスク類縁度測定手法に比べて、負の転送を検出する際にどのように優れているか？
• RQ3 サーミュラートモデルアプローチは、標準的なMTL最適化手法に比べて、弱教師ありデータセットにおけるターゲットタスクパフォーマンスを向上させるか？
• RQ4 サンプリングされたサブセットの数を考慮した場合、この手法の計算効率はどの程度か？
• RQ5 サーミュラートモデルから得られる関連度スコアは、多タスク学習における効果的なサブセット選択をどの程度効果的に導けるか？

主な発見

• サーミュラートモデルは、ソースタスクの数に対して線形に増加するサブセット数でのサンプリングを要するため、計算コストを顕著に削減する。
• 従来のタスク類縁度測定手法に比べ、複数のソースタスクからの負の転送をはるかに高い精度で検出できる。
• いくつかの弱教師ありデータセットにおいて、提案手法はベースライン最適化手法に比べて一貫してパフォーマンスを向上させる。
• サーミュラートモデルから導出された関連度スコアは、有害または役立たずのソースタスクを効果的に同定でき、より良いサブセット選択を可能にする。
• 実験的結果から、関連度スコアに基づくしきい値処理が、一般化性能の向上と負の転送の低減に寄与することが示された。
• 理論的分析により、大規模な多タスク学習環境において、サーミュラートモデリング手法がスケーラブルで統計的に妥当であることが確認された。