[論文レビュー] Measuring and Harnessing Transference in Multi-Task Learning

Chris Fifty, Ehsan Amid+4 more|arXiv (Cornell University)|Oct 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 61被引用数 7

ひとこと要約

本稿では、マルチタスク学習におけるタスク間の情報転送を測定する新しいパrameterフリーの指標「トランスファーレンス」を導入する。ミニバッチレベルでの勾配相互作用を分析することで、マクロレベルのタスクグループ選択とマイクロレベルの勾配調節の2つの手法を提案し、5つの教師付きMTLベンチマークおよび1つのマルチタスクRLタスクで性能向上を達成。ベースライン比最高で0.94%の精度向上を実現した。

ABSTRACT

Multi-task learning can leverage information learned by one task to benefit the training of other tasks. Despite this capacity, naive formulations often degrade performance and in particular, identifying the tasks that would benefit from co-training remains a challenging design question. In this paper, we analyze the dynamics of information transfer, or transference, across tasks throughout training. Specifically, we develop a similarity measure that can quantify transference among tasks and use this quantity to both better understand the optimization dynamics of multi-task learning as well as improve overall learning performance. In the latter case, we propose two methods to leverage our transference metric. The first operates at a macro-level by selecting which tasks should train together while the second functions at a micro-level by determining how to combine task gradients at each training step. We find these methods can lead to significant improvement over prior work on three supervised multi-task learning benchmarks and one multi-task reinforcement learning paradigm.

研究の動機と目的

• ナチュラルな共同学習が性能を低下させる場合が多い、有益なタスクグループの特定の課題に対処すること。
• トレーニング中にタスク間の情報転送（トランスファーレンス）を定量化可能な、パrameterフリーの指標を構築すること。
• トランスファーレンスを活用して、マクロレベルのタスク選択とマイクロレベルの勾配調整により、マルチタスク学習の効率性と性能を向上させること。
• タスク間の類似度に基づき、各トレーニングステップで最適な勾配を動的に選択する手法を提供し、負の干渉を低減すること。
• 視覚、自然言語処理、強化学習を含む多様なマルチタスク学習シナリオにおいて、トランスファーレンスに基づく手法の有効性を実証すること。

提案手法

• タスクの勾配同士の内積に基づくトランスファーレンス指標を提案。トレーニング中、あるタスクの損失勾配が他タスクの損失勾配に与える影響を定量化する。
• この指標を用いて、高いトランスファーレンスを示すタスクペアを選択し、共同学習に適したマクロレベルのタスクグループ化を実現する。
• ミニバッチごとにトランスファーレンス値に基づき、標準的なMTL勾配とPCGradスタイルの勾配のうち適切な方を選択するマイクロレベル手法IT-MTLを導入。
• 計算コストを削減しつつ、正確な測定値に近い性能を維持できるよう、トランスファーレンスの1次近似を採用。
• 不確実性重み付け（UW）とPCGradを組み合わせることで、多目的学習における性能をさらに向上。
• MultiMNIST、NYUv2、MovieLens、およびマルチタスクRL設定を含む多様なベンチマークに本手法を適用し、一貫した性能向上を達成。

実験結果

リサーチクエスチョン

• RQ1 パrameterフリーでミニバッチ単位の情報転送（トランスファーレンス）測定が、マルチタスク学習におけるタスク間勾配相互作用を効果的に定量化できるか？
• RQ2 トランスファーレンスはトレーニング性能と相関しており、有益なタスクグループの特定に利用可能か？
• RQ3 トランスファーレンスに基づく動的勾配選択は、固定集約手法と比較してマルチタスク学習の効率性と性能を向上できるか？
• RQ4 本手法は、視覚、自然言語処理、強化学習を含む多様なマルチタスク学習ベンチマークでどのように性能を発揮するか？
• RQ5 PCGrad、MGDA-UB、不確実性重み付けといった既存のベースラインを上回る精度と頑健性を、トランスファーレンスベースの手法が達成できるか？

主な発見

• 不確実性重み付けを組み合わせたIT-MTL（UW-IT-PCGrad）は、MultiMNISTの左画像タスクで90.94%のテスト精度を達成。最良のベースライン（UW-PCGrad）を0.17%上回った。
• MultiMNISTの右画像タスクでは、UW-IT-PCGradが88.61%の精度を達成。UW-PCGrad（88.36%）を0.25%上回った。
• NYUv2では、PCGradより深度推定および表面法線推定の性能が向上した一方、セグメンテーション精度はわずかに低下し、効果的なトレードオフ管理が実現した。
• MovieLensでは、UW-IT-PCGrad‡が視聴予測精度82.15%、レーティング予測精度73.97%を達成。UW-PCGrad（81.93%および73.93%）を上回った。
• トランスファーレンスの1次近似（記号‡で示す）は正確な測定値とほぼ同一の性能を示し、効率的な推論に適していることが裏付けられた。
• トランスファーレンス指標は有益なタスクグループの特定に成功し、負の勾配干渉を低減させ、多様なMTL設定で一貫した性能向上をもたらした。