[論文レビュー] A Survey on Multi-Task Learning

Yu Zhang, Qiang Yang|arXiv (Cornell University)|Jul 25, 2017

Domain Adaptation and Few-Shot Learning参考文献 203被引用数 620

ひとこと要約

このサーベイは、アルゴリズムモデリング、応用、および理論の観点から Multi-Task Learning (MTL) を総覧し、MTL 手法を五つのカテゴリに分類し、他のパラダイムとのハイブリッドや大規模設定について論じる。

ABSTRACT

Multi-Task Learning (MTL) is a learning paradigm in machine learning and its aim is to leverage useful information contained in multiple related tasks to help improve the generalization performance of all the tasks. In this paper, we give a survey for MTL from the perspective of algorithmic modeling, applications and theoretical analyses. For algorithmic modeling, we give a definition of MTL and then classify different MTL algorithms into five categories, including feature learning approach, low-rank approach, task clustering approach, task relation learning approach and decomposition approach as well as discussing the characteristics of each approach. In order to improve the performance of learning tasks further, MTL can be combined with other learning paradigms including semi-supervised learning, active learning, unsupervised learning, reinforcement learning, multi-view learning and graphical models. When the number of tasks is large or the data dimensionality is high, we review online, parallel and distributed MTL models as well as dimensionality reduction and feature hashing to reveal their computational and storage advantages. Many real-world applications use MTL to boost their performance and we review representative works in this paper. Finally, we present theoretical analyses and discuss several future directions for MTL.

研究の動機と目的

• Multi-Task Learning を定義し、関連概念を明確にする（同質な特徴空間と異質な特徴空間）。
• 既存の MTL アルゴリズムを五つのカテゴリに分類する：feature learning、low-rank、task clustering、task relation learning、decomposition。
• MTL と半教師あり学習、アクティブ学習、教師なし学習、強化学習、マルチビュー学習、グラフィカルモデルとの組み合わせを論じる。
• オンライン、並列、分散 MTL のスケーラビリティの考慮事項と高次元技術（次元削減、特徴ハッシュ）をレビューする。

提案手法

• MTL の関連性を伴う m 個のタスクに対する形式的定義を提供する。
• アルゴリズム的アプローチを五つのカテゴリに分類し、それぞれの特徴を説明する。
• 変換ベースと特徴選択（group sparsity regularizers such as l21 and related norms）を含む特徴ベースおよびパラメータベースの手法とサブタイプ（変換 vs 選択；低ランク、クラスタリング、関係学習、分解）を詳述する。
• 共有表現、敵対的ネット、クロスステッチ機構を用いた深層 MTL の派生を introduc e する。
• 他の学習パラダイムとの組み合わせと高次元・多数タスク設定のスケーラビリティ解決策を検討する。

実験結果

リサーチクエスチョン

• RQ1 監視付き設定と非監視設定の両方にわたる、Multi-Task Learning の正確な定義と範囲は何か。
• RQ2 MTL アルゴリズムをどのように分類でき、各カテゴリを特徴づける要素は何か。
• RQ3 知識をタスク間で共有する効果的な戦略（特徴共有、インスタンス共有、パターン共有）とそのトレードオフは何か。
• RQ4 MTL は他の学習パラダイムとどのように相互作用し、多数のタスクや高次元データへどのように拡張できるか。
• RQ5 MTL の主要な理論的分析と今後の方向性は何か。

主な発見

• MTL は主に五つのアルゴリズムカテゴリ（feature learning、low-rank、task clustering、task relation learning、decomposition）に整理できる。
• 特徴学習は変換ベース（深層モデルとともに用いられることが多い）、またはグループスパース性正則化子（l21 などの関連ノルム）を伴う特徴選択として実装される。
• 低ランク・分解アプローチは共有サブスペースや行列因子分解を介してタスク間の関連性をモデル化し、パラメータ共有をスケーラブルにする。
• ハイブリッドな深層 MTL モデルは、共有ネットワーク、敵対的目的、クロスステッチ機構を用いて共通表現とタスク固有表現のバランスを取る。
• 本サーベイはまた、Semi-supervised、Active、Unsupervised、Reinforcement、Multi-view 学習、グラフィカルモデルとの組み合わせ、オンライン/並列/分散設定、次元削減技術についても議論している。