[論文レビュー] A Convex Formulation for Learning Task Relationships in Multi-Task Learning

Yu Zhang, Dit‐Yan Yeung|arXiv (Cornell University)|Mar 15, 2012

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 134

ひとこと要約

本稿では、マルチタスク学習におけるモデルパラメータとタスク関係を同時に学習する凸最適化フレームワークであるマルチタスク関係学習（MTRL）を提案する。一貫した正則化を通じて正の相関と負の相関の両方をモデル化することで、交互最適化による効率的な学習が可能となり、ベンチマークデータセットおよびトロイ問題において一般化性能の向上を示す。

ABSTRACT

Multi-task learning is a learning paradigm which seeks to improve the generalization performance of a learning task with the help of some other related tasks. In this paper, we propose a regularization formulation for learning the relationships between tasks in multi-task learning. This formulation can be viewed as a novel generalization of the regularization framework for single-task learning. Besides modeling positive task correlation, our method, called multi-task relationship learning (MTRL), can also describe negative task correlation and identify outlier tasks based on the same underlying principle. Under this regularization framework, the objective function of MTRL is convex. For efficiency, we use an alternating method to learn the optimal model parameters for each task as well as the relationships between tasks. We study MTRL in the symmetric multi-task learning setting and then generalize it to the asymmetric setting as well. We also study the relationships between MTRL and some existing multi-task learning methods. Experiments conducted on a toy problem as well as several benchmark data sets demonstrate the effectiveness of MTRL.

研究の動機と目的

• マルチタスク学習におけるタスク関係をモデル化する凸最適化フレームワークの開発。
• モデルパラメータとタスク相関（負の相関および外れ値検出を含む）を同時に学習可能にする。
• 対称的タスク関係にとどまらず、非対称設定へも正則化フレームワークを一般化する。
• MTRLと既存のマルチタスク学習手法との理論的および実験的関連性を確立する。
• 一貫性のある微分可能な最適化スキームを通じて、構造的タスク関係を活用して一般化性能を向上させる。

提案手法

• MTRLは、タスク関係に構造的正則化項を導入した凸最適化問題としてマルチタスク学習を定式化する。
• 正の定値対称行列を用いてタスク関係を表現することで、正の相関と負の相関の両方をモデル化可能となる。
• モデルパラメータとタスク関係行列の反復的更新を実行するための交互最適化アルゴリズムを採用する。
• まず対称的マルチタスク学習を対象としてフレームワークを構築し、その後非対称設定へ拡張する。
• 正則化項は、単一タスク学習の一般化から導出され、タスク類似度を目的関数に組み込む。
• 学習された関係行列における弱いまたは負の相関を検出することで、外れ値タスクを同定する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習におけるタスク関係を、正の相関と負の相関の両方をサポートする形でどのようにモデル化できるか？
• RQ2 効率的にモデルパラメータとタスク関係を同時に学習できる凸定式化を設計できるか？
• RQ3 本手法は、他のタスクと関係のない外れ値タスクをどのように処理するか？
• RQ4 MTRLは、ベンチマークデータセットにおいて既存のマルチタスク学習手法に比べてどの程度の性能向上を達成するか？
• RQ5 MTRLの非対称拡張は、対称的タスク関係を越えてどのように一般化されるか？

主な発見

• MTRLは、構造的タスク関係を学習することで、トロイ問題および複数のベンチマークデータセットにおいて一般化性能の向上を達成する。
• 本手法は、標準的なマルチタスク学習フレームワークでしばしば無視される負のタスク相関を効果的にモデル化する。
• 学習されたタスク関係行列を用いて外れ値タスクが効果的に同定され、耐障害性が向上する。
• 凸定式化によりグローバル最適解への収束が保証され、信頼性の高い効率的最適化が可能となる。
• 実験的結果から、MTRLはさまざまなマルチタスク学習シナリオにおいて予測精度の面でベースライン手法を上回ることが示された。
• MTRLの対称的および非対称的バージョンともに一貫した性能向上を示し、フレームワークのスケーラビリティと柔軟性が裏付けられた。