[論文レビュー] A Closer Look at Loss Weighting in Multi-Task Learning

Baijiong Lin, Feiyang Ye+1 more|arXiv (Cornell University)|Nov 20, 2021

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 15

ひとこと要約

本稿では、ランダムな分布から損失重みをサンプリングすることで、最先端の手法と同等の性能を達成する、シンプルでありながら効果的なマルチタスク学習戦略であるランダム損失重み（RLW）を提案する。RLWは、局所最適解からの脱出確率を高めるため、一般化性能が向上し、既存の実装に追加で1行のコードを追加するだけで実装可能である。

ABSTRACT

Multi-Task Learning (MTL) has achieved great success in various fields, however, how to balance different tasks to avoid negative effects is still a key problem. To achieve the task balancing, there exist many works to balance task losses or gradients. In this paper, we unify eight representative task balancing methods from the perspective of loss weighting and provide a consistent experimental comparison. Moreover, we surprisingly find that training a MTL model with random weights sampled from a distribution can achieve comparable performance over state-of-the-art baselines. Based on this finding, we propose a simple yet effective weighting strategy called Random Loss Weighting (RLW), which can be implemented in only one additional line of code over existing works. Theoretically, we analyze the convergence of RLW and reveal that RLW has a higher probability to escape local minima than existing models with fixed task weights, resulting in a better generalization ability. Empirically, we extensively evaluate the proposed RLW method on six image datasets and four multilingual tasks from the XTREME benchmark to show the effectiveness of the proposed RLW strategy when compared with state-of-the-art strategies.

研究の動機と目的

• マルチタスク学習（MTL）における複数のタスクのバランスをとることで、負の伝播を防ぐこと。
• 損失重みの観点から、8つの代表的なタスクバランス手法を統一し、比較すること。
• 学習済みまたは固定された重み戦略と比較して、ランダム損失重みが競争力のある性能を達成できるかどうかを調査すること。
• ランダム損失重みの一般化の利点を理論的および実験的に検証すること。

提案手法

• 著者らは、一貫したフレームワークとしての損失重みの枠組みを用いて、8つの既存のタスクバランス手法を統一し、体系的な比較を実施した。
• RLWを提案する。ここで、訓練中に事前に定義された分布から損失重みを一様にサンプリングする。
• RLWは、既存のMTLフレームワークに追加で1行のコードを追加するだけで実装可能であり、非常に実用的である。
• 理論的分析により、固定重みを持つモデルと比較して、RLWは局所最適解からの脱出確率がより高いことが示された。
• 本手法は、6つの画像データセットおよびXTREMEベンチマークの4つの多言語タスクで評価された。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習において、損失重みをランダムにサンプリングすることは、最先端の固定または学習済み重み戦略と同等の性能を達成できるか？
• RQ2 ランダム損失重みは、モデルの悪い局所最適解からの脱出能力にどのように影響するか？
• RQ3 ランダム損失重みによる一般化の向上の理論的根拠は何か？
• RQ4 RLWは、多様なビジョンおよびNLPベンチマークで強力な性能を維持するか？

主な発見

• ランダム損失重み（RLW）は、6つの画像データセットおよびXTREMEベンチマークの4つの多言語タスクにおいて、最先端のベースラインと同等の性能を達成した。
• 理論的分析により、固定タスク重みを持つモデルと比較して、RLWは局所最適解からの脱出確率が高くなることが明らかになった。
• 重みのサンプリングの確率的性質のおかげで、訓練中の探索性が向上し、RLWはより優れた一般化能力を示した。
• 実装には、既存のMTLフレームワークに追加で1行のコードを追加するだけでよく、非常に実用的かつ簡単に採用可能である。