[論文レビュー] In Defense of the Unitary Scalarization for Deep Multi-Task Learning

Vitaly Kurin, Alessandro De Palma+3 more|arXiv (Cornell University)|Jan 11, 2022

Sparse and Compressive Sensing Techniques被引用数 20

ひとこと要約

この論文は、単一ユニタリ・スカラー化（タスク損失の和の最小化）が、標準的な正則化と安定化技術と組み合わせた場合、監督付き学習と強化学習の両方で、専門のマルチタスク最適化器（SMTO）と競合する、あるいはそれより優れている、という主張を展開しています。さらに、SMTOを正則化器として分析し、統一的な実験的・理論的視点を提供します。

ABSTRACT

Recent multi-task learning research argues against unitary scalarization, where training simply minimizes the sum of the task losses. Several ad-hoc multi-task optimization algorithms have instead been proposed, inspired by various hypotheses about what makes multi-task settings difficult. The majority of these optimizers require per-task gradients, and introduce significant memory, runtime, and implementation overhead. We show that unitary scalarization, coupled with standard regularization and stabilization techniques from single-task learning, matches or improves upon the performance of complex multi-task optimizers in popular supervised and reinforcement learning settings. We then present an analysis suggesting that many specialized multi-task optimizers can be partly interpreted as forms of regularization, potentially explaining our surprising results. We believe our results call for a critical reevaluation of recent research in the area.

研究の動機と目的

• 人気のあるMTLベンチマークで、単一ユニタリ・スカラー化が複雑なSMTOと同等またはそれを上回るかを評価する。
• 単一ユニタリ・スカラー化の性能向上における正則化と安定化技術の役割を調査する。
• SMTOを正則化器として分析し、収束と一般化の挙動を理解する。
• MTL最適化手法を評価するための統一的な実験パイプラインと再現可能なコードを提供する。

提案手法

• MTLを、タスクごとの損失の和を最小化する（単一ユニタリ・スカラー化）として定式化し、タスクごとの勾配を用いるSMTOと対比する。
• 代表的なSMTO（MGDA、IMTL、PCGrad、GradDrop、RLW）をレビュー・実装し、計算オーバーヘッドを分析する。
• 監督あり学習ベンチマーク（Multi-MNIST、CelebA、Cityscapes）および強化学習ベンチマーク（SACを用いたMeta-World）で評価する。
• 学習を安定化させるため、標準的な単一タスク正則化（ドロップアウト、L2、早期停止）とRLにおける報酬正規化を取り入れる。
• 正則化の観点からSMTOを分析し、正則化された単一ユニタリ・スカラー化と比較するようにアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 多様なMTL設定とデータセット全体で、単一ユニタリ・スカラー化はSMTOと同等の性能を発揮するか？
• RQ2 標準的な正則化と安定化技術は、単一ユニタリ・スカラー化とSMTOの間の性能差を埋められるか？
• RQ3 SMTOは最適化を厳密に改善するよりも、主に一般化に影響を与える正則化器として機能するのか？
• RQ4 深層MTLにおける単一ユニタリ・スカラー化とSMTOの計算的トレードオフ（時間・メモリ）はどうなるか？
• RQ5 共有表現を前提とする強化学習の文脈でSMTOはどのように比較されるか？

主な発見

• 正則化と安定化と組み合わせた場合、単一ユニタリ・スカラー化は監督付き学習ベンチマークでSMTOと同等またはそれを上回る。
• SMTOは学習時間とメモリのオーバーヘッドが大きく、一貫した優位性は見られない。
• 正則化（ドロップアウト、L2）と早期停止は過学習を抑制し、単一ユニタリ・スカラー化の性能差を埋める可能性がある。
• 分析は、SMTOが過学習を遅らせ、収束特性に影響を与えることで正則化器として機能する可能性を示唆する。
• RL設定では、単一ユニタリ・スカラー化がPCGradなどのSMTOに比べて大幅に低い計算量で競争力のある性能を発揮する。