[論文レビュー] Rotograd: Dynamic Gradient Homogenization for Multitask Learning

Adrián Javaloy, Isabel Valera|arXiv (Cornell University)|May 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 7

ひとこと要約

Rotogradは、タスク固有の回転行列を用いて勾配の大きさと方向を両方一致させることで、GradNormを拡張した動的勾配均一化手法を提案する。勾配の方向を整えることで勾配干渉を軽減し、訓練の安定性と収束性を向上させ、従来の手法と比較して複数の現実世界のデータセットおよびアーキテクチャで優れた性能を達成する。

ABSTRACT

GradNorm (Chen et al., 2018) is a broadly used gradient-based approach for training multitask networks, where different tasks share, and thus compete during learning, for the network parameters. GradNorm eases the fitting of all individual tasks by dynamically equalizing the contribution of each task to the overall gradient magnitude. However, it does not prevent the individual tasks’ gradients from conflicting, i.e., pointing towards opposite directions, and thus resulting in a poor multitask performance. In this work we propose Rotograd, an extension to GradNorm that addresses this problem by dynamically homogenizing not only the gradient magnitudes but also their directions across tasks. For this purpose,Rotograd adds a layer of task-specific rotation matrices that aligns all the task gradients. Importantly, we then analyze Rotograd (and its predecessor) through the lens of game theory, providing theoretical guarantees on the algorithm stability and convergence. Finally, our experiments on several real-world datasets and network architectures show that Rotograd outperforms previous approaches for multitask learning.

研究の動機と目的

• マルチタスク学習中のタスク間で勾配の方向が相反する問題を扱うためのGradNormの限界を解消すること。
• 方向の一致を用いて勾配干渉を低減することで、マルチタスク学習の性能を向上させること。
• ゲーム理論的解析を用いてアルゴリズムの安定性と収束に対する理論的保証を提供すること。
• 多様なデータセットおよびネットワークアーキテクチャに一般化可能なスケーラブルで効果的な手法を開発すること。

提案手法

• 異なるタスクの勾配の方向を動的に一致させるために、タスク固有の回転行列を導入する。
• タスク勾配に回転を適用した後、統一された更新方向に統合するまでの損失最適化プロセスを変更する。
• 勾配の大きさと方向の両方をバランスさせる動的重み付け方式を採用し、GradNormに類似しているが回転一致を拡張したものである。
• ゲーム理論的フレームワークを用いて訓練プロセスの収束性と安定性を分析・保証する。
• バックプロパゲーション中に回転行列をエンドツーエンド最適化することで、適応的勾配均一化を実現する。
• 回転層を学習可能なコンponentsとして統合することで、標準的なディープラーニングフレームワークとの後方互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 勾配の大きさのバランスのみではなく、方向の動的一致がマルチタスク学習の性能向上に寄与するか？
• RQ2 勾配干渉（反対方向の勾配）がマルチタスク学習の安定性と収束性に与える影響は何か？
• RQ3 大きさと方向の両方を考慮した勾配均一化手法に対して、どのような理論的保証を提供できるか？
• RQ4 提案されたゲーム理論的定式化は、マルチタスク設定における安定的かつ収束的訓練ダイナミクスを保証するか？
• RQ5 Rotogradは、多様なベンチマークにおいてGradNormや他のマルチタスク学習ベースラインと比較してどのように差をつけるか？

主な発見

• Rotogradは、複数の現実世界のデータセットでGradNormや他のマルチタスク学習ベースラインを上回り、一般化性能と訓練の安定性が向上していることが示された。
• 勾配方向の均一化を組み込むことで、大きさのみのバランスと比較して収束が速く、訓練損失が低くなることが実験で確認された。
• 理論的分析により、ゲーム理論的フレームワーク下でRotogradが安定した訓練ダイナミクスを維持し、収束保証が得られることを確認した。
• 実験では、特にタスクの目的が著しく異なる状況において、Rotogradが勾配干渉を効果的に低減していることが示された。
• ResNet や DenseNet などの多様なネットワークアーキテクチャに一般化可能であり、アーキテクチャの変更なしに適用可能である。
• アブレーションスタディにより、大きさと方向の両方の均一化が最適性能を達成するために不可欠であり、回転成分が性能向上に顕著に寄与することが確認された。