[論文レビュー] A Simple General Approach to Balance Task Difficulty in Multi-Task Learning

Sicong Liang, Yu Zhang|arXiv (Cornell University)|Feb 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 7

ひとこと要約

本論文は、各タスクの損失を変換する関数を用いて、現在の損失が大きいタスクを優先することで、タスクの難易度のバランスを動的に調整するバランス型マルチタスク学習（BMTL）フレームワークを提案する。これらの変換された損失の合計を最小化することで、最適化の効率と一般化性能が向上し、手動で設計された重みや滑らかでない目的関数に依存せずに、複数のマルチタスク学習ベンチマークで最先端の性能を達成する。

ABSTRACT

In multi-task learning, difficulty levels of different tasks are varying. There are many works to handle this situation and we classify them into five categories, including the direct sum approach, the weighted sum approach, the maximum approach, the curriculum learning approach, and the multi-objective optimization approach. Those approaches have their own limitations, for example, using manually designed rules to update task weights, non-smooth objective function, and failing to incorporate other functions than training losses. In this paper, to alleviate those limitations, we propose a Balanced Multi-Task Learning (BMTL) framework. Different from existing studies which rely on task weighting, the BMTL framework proposes to transform the training loss of each task to balance difficulty levels among tasks based on an intuitive idea that tasks with larger training losses will receive more attention during the optimization procedure. We analyze the transformation function and derive necessary conditions. The proposed BMTL framework is very simple and it can be combined with most multi-task learning models. Empirical studies show the state-of-the-art performance of the proposed BMTL framework.

研究の動機と目的

• マルチタスク学習におけるタスク難易度のばらつきが、タスクを同等に扱う場合に性能を低下させることに起因する課題に対処すること。
• 手動によるタスク重み付け、滑らかでない目的関数、正則化との不適合性といった既存手法の制限を克服するため、一般的で微分可能な解決策を導入すること。
• 既存のマルチタスク学習モデルと組み合わせ可能な、シンプルで即席的なフレームワークを開発すること。
• 各タスクの現在の訓練損失が大きい場合に、変換関数を用いて動的に注目を高める仕組みにより、バランスの取れた学習を実現すること。

提案手法

• 各タスクの訓練損失 $ \ell_i $ を新しい値に写像する変換関数 $ h(\ell_i) $ を提案し、損失が大きいタスクの重みを増加させる。
• 変換された損失の合計 $ \sum_i h(\ell_i) $ を最小化する。ここで、$ h $ は最適化中に損失が大きいタスクの影響を強調するように設計されている。
• 効果的なバランスと一般化を保証するための変換関数 $ h $ に必要な条件を導出する。
• BMTLフレームワークの一般化バウンドを分析し、理論的にそのロバスト性を裏付ける。
• 任意のマルチタスク学習モデルに容易に統合可能な、シンプルで微分可能な変換（例：指数関数的または多項式的変換）を採用する。
• Adam最適化法と学習率スケジューリングを用いた標準的なディープラーニング設定のもと、DMTL、DMTRL、TNRMTL、MRNなどのさまざまなモデルにフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 手動で設計されたタスク重みに依存せずに、マルチタスク学習におけるタスク難易度の不均衡を効果的に是正できるか？
• RQ2 一般的で微分可能な訓練損失の変換が、多様なマルチタスク学習アーキテクチャにおいて最適化ダイナミクスとモデル性能を向上させられるか？
• RQ3 本稿で提案するBMTLフレームワークは、さまざまな訓練割合において、既存のバランス戦略と比較して精度とロバスト性に優れているか？
• RQ4 変換関数 $ h(\cdot) $ の理論的性質は何か？ 一般化性能や収束性にどのように影響を与えるか？

主な発見

• BMTLフレームワークは、Office-31、ImageCLEF、Office-Homeの複数のデータセットにおいて、50%、60%、70%の全訓練割合で、すべてのベースラインバランス戦略を上回る一貫した性能を示した。
• Office-31およびImageCLEFデータセットでは、訓練スプリットにかかわらず、BMTLはすべてのマルチタスク学習ベースライン（例：DMTL、DMTRL、TNRMTL、MRN）を上回る性能を達成した。
• SARCOS回帰データセットでは、BMTLが最小の平均二乗誤差を達成し、特にTNRMTL手法と組み合わせた場合に顕著な性能を示した。これは回帰タスクにおける強力な性能を示している。
• Office-Homeデータセットからの訓練損失曲線は、初期損失が大きいタスクがより速く減少することを示しており、BMTLが最適化中に困難なタスクを効果的に優先していることを確認している。
• 5回の繰り返し実験において、ハイパーパramータの選択やモデル初期化にかかわらず一貫した性能を示しており、BMTLフレームワークのロバスト性が裏付けられた。
• 理論的分析により、変換関数 $ h(\cdot) $ がバランスと一般化に必要な条件を満たしていることが確認され、その実験的成功を理論的に裏付けるものとなった。