[論文レビュー] Minimax Multi-Task Learning and a Generalized Loss-Compositional Paradigm for MTL

Nishant A. Mehta, Dongryeol Lee+1 more|arXiv (Cornell University)|Sep 13, 2012

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 6

ひとこと要約

本稿では、最小化される最大の経験的リスクを最小化する新しいMTL定式化、すなわちミニマックス多タスク学習（MTL）と、古典的MTLとミニマックスMTLを連続的な緩和スケールで統一する一般化された損失合成的枠組みを導入する。理論的には、ミニマックスMTLは新しいタスクにおける最悪ケースのテストリスクを低減するが、実験的にも、特にデータが限られている場合やモデル容量が大きい場合に、標準的MTLを上回る性能を示す。

ABSTRACT

Since its inception, the modus operandi of multi-task learning (MTL) has been to minimize the task-wise mean of the empirical risks. We introduce a generalized loss-compositional paradigm for MTL that includes a spectrum of formulations as a subfamily. One endpoint of this spectrum is minimax MTL: a new MTL formulation that minimizes the maximum of the tasks' empirical risks. Via a certain relaxation of minimax MTL, we obtain a continuum of MTL formulations spanning minimax MTL and classical MTL. The full paradigm itself is loss-compositional, operating on the vector of empirical risks. It incorporates minimax MTL, its relaxations, and many new MTL formulations as special cases. We show theoretically that minimax MTL tends to avoid worst case outcomes on newly drawn test tasks in the learning to learn (LTL) test setting. The results of several MTL formulations on synthetic and real problems in the MTL and LTL test settings are encouraging.

研究の動機と目的

• 古典的MTLの限界、すなわち平均タスクリスクを最小化するが、最悪ケースのタスクでは性能が劣ることがあるという点を是正すること。
• すべてのタスクにおける最大の経験的リスクを最小化する新しいMTL定式化、すなわちミニマックスMTLを提案し、最悪ケースの結果に対して耐性を持つことを保証すること。
• 古典的MTL、ミニマックスMTL、および中間の緩和形態を1つのフレームワークに統合する一般化された損失合成的枠組みを構築すること。
• 最大リスクと平均リスクの基準に基づき、多タスク学習（MTL）および学習の学習（LTL）の両設定において、ミニマックスおよび緩和MTL定式化の性能を評価すること。
• 最大の経験的リスクを最小化することで、新しいタスクにおける真の最悪ケースリスクが有界になる理論的根拠を提供すること。

提案手法

• すべてのタスクにおける経験的リスクの最大値を最小化する新しいMTL目的関数としてミニマックスMTLを提案し、その合計や平均ではなく最大値を最小化する。
• αをパラメータとする連続的なミニマックスMTLの緩和形態の族を導入し、α = 1でミニマックスMTL、α = 0で古典的MTLが回復されるように定義する。
• 経験的リスクのベクトル上で動作する一般化された損失合成的枠組みを構築し、ℓp MTL定式化を特別な場合として含む。
• 共有表現学習とタスク固有の予測子の適応を伴う、多タスク学習（MTL）および学習の学習（LTL）の両方の設定にこのフレームワークを適用する。
• モデル容量を制御し、過学習を防ぐために共有重み行列にトレースノルム正則化を適用する。
• 合成データおよび実データ（個人用PC、MNIST、および他の2つのデータセット）を用いた交差検証と制御実験により、モデル容量やデータ量の変動に応じた定式化の比較を行う。

実験結果

リサーチクエスチョン

• RQ1 タスク間で最大の経験的リスクを最小化することは、多タスク学習における最悪ケース一般化性能の向上に寄与するか？
• RQ2 連続的な緩和スケールを通じて、古典的MTLとミニマックスMTLを統一する一般化された損失合成的枠組みは可能か？
• RQ3 異なるデータセットおよびモデル容量において、ミニマックスMTLおよび緩和MTL定式化はℓ₁ MTLと比較して、最大リスクと平均リスクの両方のテストリスクでどのように異なるか？
• RQ4 モデル容量が訓練データに対して高い場合に、ミニマックスMTLは過学習に対して優れた耐性を示すか？
• RQ5 最大の経験的リスクを最小化することで、新しいタスクにおける真の最悪ケースリスクが有界になる理論的根拠はあるか？

主な発見

• 個人用PCおよびMNISTデータセットにおいて、ミニマックスMTLはℓ₁ MTLを上回り、特にモデル容量が制限されている場合に最大テストリスクの目的関数で顕著な優位性を示す。
• MNISTデータセットでは、モデル容量が低下するにつれて、ミニマックスMTLとℓ₁ MTLとの間の性能差が広がり、データが不足する状況下でのロバストネスを裏付けている。
• 最大リスクの目的関数において、(0.1T)-ミニマックスおよび(0.2T)-ミニマックスMTL定式化は、高タスク固有容量の環境下で、ℓ₁ MTLおよびミニマックスMTLをも凌駕することが多い。
• LTL設定において、ミニマックスおよび(0.1T)-ミニマックスMTLは、最大RMSEの目的関数でℓ₁ MTLを上回り、特に共有容量が中程度のとき顕著である。
• 共有容量が高い場合、ℓ₁ MTLは平均RMSEの目的関数で最も優れた性能を示し、公平性と平均性能の間のトレードオフを示している。
• 理論的分析（定理1）により、最大経験的リスクがγで有界であれば、新しいタスクにおける真の最悪ケースリスクも概ねγで有界であることが示され、ミニマックスアプローチの正当性が裏付けられる。