[論文レビュー] Multitask Learning with Single Gradient Step Update for Task Balancing

Sungjae Lee, Youngdoo Son|arXiv (Cornell University)|May 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 4

ひとこと要約

本論文は、メタラーニングフレームワーク内での1ステップ勾配更新を用いて、タスク勾配をバランスさせるマルチタスク学習手法を提案する。共有層とタスク固有層を分離し、1ステップ更新を用いた内側/外側ループのトレーニングにより共有層を最適化することで、タスクの不均衡を軽減し、複数のコンピュータビジョンベンチマークで最先端の性能を達成する。

ABSTRACT

Multitask learning is a methodology to boost generalization performance and also reduce computational intensity and memory usage. However, learning multiple tasks simultaneously can be more difficult than learning a single task because it can cause imbalance among tasks. To address the imbalance problem, we propose an algorithm to balance between tasks at the gradient level by applying gradient-based meta-learning to multitask learning. The proposed method trains shared layers and task-specific layers separately so that the two layers with different roles in a multitask network can be fitted to their own purposes. In particular, the shared layer that contains informative knowledge shared among tasks is trained by employing single gradient step update and inner/outer loop training to mitigate the imbalance problem at the gradient level. We apply the proposed method to various multitask computer vision problems and achieve state-of-the-art performance.

研究の動機と目的

• 勾配の優位性によって一部のタスクが学習を支配する、マルチタスク学習におけるタスク不均衡を解消すること。
• マルチタスクディープラーニングにおける一般化性能と計算効率を向上させること。
• 共有およびタスク固有のネットワークコンponentを分離し、より効果的な学習を実現すること。
• メタラーニングの原則を応用して勾配レベルでのバランス機構を構築すること。
• 多様なマルチタスクコンピュータビジョンタスクにおいて最先端のパフォーマンスを達成すること。

提案手法

• ネットワークを共有層とタスク固有層に分離し、それぞれ異なる目的関数で訓練する。
• 共有層は、内側/外側ループのメタラーニングフレームワーク内での1ステップ勾配更新により最適化される。
• 内側ループではタスク固有ヘッドの更新が行われ、外側ループではメタ目的関数を用いて共有重みが精緻化される。
• メタ最適化プロセスは、タスク損失の重み付き和を最小化することで、タスク間での勾配のバランスを暗黙的に実現する。
• エンドツーエンドのトレーニングが可能となり、勾配の流れが向上し、タスク間の干渉が低減される。
• 本手法は、オブジェクト検出やセマンティックセグメンテーションを含む複数のコンピュータビジョンタスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 勾配レベルでのタスク不均衡を、どのように効果的に軽減できるか？
• RQ2 1ステップ勾配更新戦略は、マルチタスク学習のパフォーマンスと安定性を向上させ得るか？
• RQ3 共有層とタスク固有層の分離は、モデルの一般化性能と効率性を向上させるか？
• RQ4 メタラーニングの原則を、多様なタスク間での勾配バランスに効果的に応用できるか？
• RQ5 提案手法は、標準的なマルチタスクビジョンベンチマークで最先端の結果を達成できるか？

主な発見

• 提案手法は、複数のマルチタスクコンピュータビジョンベンチマークで最先端のパフォーマンスを達成した。
• タスク間での勾配更新がより一様であることが実証され、タスク不均衡が顕著に軽減された。
• 1ステップ勾配更新戦略により、トレーニングの安定性と収束速度が向上した。
• 共有層とタスク固有層の分離により、より良い特徴表現とタスク固有の適応が実現された。
• 計算オーバーヘッドを低減しながら高いパフォーマンスを維持でき、実世界の応用に適した効率性を有した。
• 実験的結果から、多様なビジョンタスクにおいて、ベースラインのマルチタスク学習手法を一貫して上回る改善が得られた。