[論文レビュー] ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning

Junguang Jiang, Baixu Chen+5 more|arXiv (Cornell University)|Jan 30, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

ForkMergeは、モデルを定期的に分岐させ、ターゲット検証誤差の最小化による動的タスク重み最適化、および有害なパラメータ更新をフィルタリングするためのブランチのマージを通じて、補助タスク学習におけるネガティブトランスファーを軽減する新規手法である。複数のベンチマークで最先端の性能を達成しており、AliExpressデータセットでは1.30%の絶対的改善、1000ラベルのSVHNでは46.3%のテスト誤差低減を達成している。

ABSTRACT

Auxiliary-Task Learning (ATL) aims to improve the performance of the target task by leveraging the knowledge obtained from related tasks. Occasionally, learning multiple tasks simultaneously results in lower accuracy than learning only the target task, which is known as negative transfer. This problem is often attributed to the gradient conflicts among tasks, and is frequently tackled by coordinating the task gradients in previous works. However, these optimization-based methods largely overlook the auxiliary-target generalization capability. To better understand the root cause of negative transfer, we experimentally investigate it from both optimization and generalization perspectives. Based on our findings, we introduce ForkMerge, a novel approach that periodically forks the model into multiple branches, automatically searches the varying task weights by minimizing target validation errors, and dynamically merges all branches to filter out detrimental task-parameter updates. On a series of auxiliary-task learning benchmarks, ForkMerge outperforms existing methods and effectively mitigates negative transfer.

研究の動機と目的

• 勾配の競合を超えて、補助タスク学習におけるネガティブトランスファーの根本的要因を体系的に入念に調査すること。
• 一般化能力を無視する既存の最適化ベース手法の限界を解決すること。
• モデルの分岐とマージを通じて多様なタスク分布仮説を組み合わせることで、モデルの一般化能力を向上させること。
• 有害なパラメータ更新をフィルタリングしながら有益なものを保持することで、マルチタスク学習のパフォーマンスを向上させること。
• 大規模レコメンデーションや半教師あり学習タスクを含む、多様な補助タスク学習ベンチマークで最先端の結果を達成すること。

提案手法

• ForkMergeは、メインモデルを定期的に複数のブランチに分岐させ、それぞれを異なるタスク重み設定で訓練する。
• 訓練中にターゲット検証誤差を最小化することで、動的タスク重み探索を実行する。
• 定期的な間隔で、すべてのブランチがマージ・同期され、有害なパラメータ更新をフィルタリングする統一モデルが形成される。
• 本手法は、すべての可能なデータ分布組み合わせの全探索を避けるために、タスク分布の組み合わせを仮説の組み合わせ問題として扱う。
• 正のトランスファーをバランスさせるとともにネガティブトランスファーを緩和する勾配ベースの最適化戦略を用いて実装される。
• 既存のマルチタスク学習フレームワークと互換性があり、教師ありおよび自己教師あり学習パイプラインの両方へ統合可能である。

実験結果

リサーチクエスチョン

• RQ1 勾配の競合を超えて、補助タスク学習におけるネガティブトランスファーの根本的要因は何か？
• RQ2 訓練時とテスト時のデータ分布のシフトは、ネガティブトランスファーにどのように影響するか？
• RQ3 モデルの分岐と動的重み最適化は、マルチタスク学習における一般化能力を向上させ得るか？
• RQ4 マージによる有害なパラメータ更新のフィルタリングは、標準的なマルチタスク学習に比べてパフォーマンスを向上させるか？
• RQ5 ForkMergeは、教師ありおよび半教師あり補助タスク学習設定の両方で、既存の最先端手法を上回る性能を発揮できるか？

主な発見

• ForkMergeは、最も強力なベースラインと比較して、AliExpressレコメンデーションベンチマークで平均パフォーマンスに1.30%の絶対的改善を達成した。
• 1000ラベルのSVHNデータセットでは、ForkMergeはテスト誤差を5.49%まで低減し、ベースラインのS4L手法と比較して46.3%の誤差低減を達成した。
• GradNorm、CAGrad、Auto-λといった既存の最先端手法を、評価されたすべてのベンチマークで上回った。
• 実験の結果、勾配の競合そのものがネガティブトランスファーを必ずしも引き起こすわけではないことが示された。たとえ重み減衰のような競合する補助タスクであっても、有益である場合がある。
• ネガティブトランスファーは、最適化干渉よりも、訓練時とテスト時の分布シフトの相関が強いことが分かった。
• 動的マージメカニズムは、有害なパラメータ更新を効果的にフィルタリングするとともに、有益な更新を保持・強化している。