[論文レビュー] Multi-Task Learning with Labeled and Unlabeled Tasks

Anastasia Pentina, Christoph H. Lampert|arXiv (Cornell University)|Feb 21, 2016

Machine Learning and Data Classification被引用数 6

ひとこと要約

本稿では、ラベル付きタスクとラベルなしタスクの両方を活用することで、ラベル付きタスク間およびラベル付きからラベルなしタスクへの情報伝達を可能にする、新しいマルチタスク学習フレームワークを提案する。一般化バウンドを導入し、ラベル付きタスクの選択とタスク固有の重み付けを体系的に行う手法を提示しており、合成データおよび実世界データにおいて、受動的およびベースライン手法と比較して顕著な性能向上を達成している。

ABSTRACT

In multi-task learning, a learner is given a collection of prediction tasks and needs to solve all of them. In contrast to previous work, which required that annotated training data is available for all tasks, we consider a new setting, in which for some tasks, potentially most of them, only unlabeled training data is provided. Consequently, to solve all tasks, information must be transferred between tasks with labels and tasks without labels. Focusing on an instance-based transfer method we analyze two variants of this setting: when the set of labeled tasks is fixed, and when it can be actively selected by the learner. We state and prove a generalization bound that covers both scenarios and derive from it an algorithm for making the choice of labeled tasks (in the active case) and for transferring information between the tasks in a principled way. We also illustrate the effectiveness of the algorithm by experiments on synthetic and real data.

研究の動機と目的

• ラベル付きデータを持つタスクのサブセットと、大多数がラベルなしデータである状況におけるマルチタスク学習の課題に対処すること。
• 既存のマルチタスク学習手法に欠けている、ラベル付きタスク間だけでなく、ラベル付きタスクからラベルなしタスクへの有効な情報伝達を可能にすること。
• ランダムまたは固定の選択ではなく、データ依存の基準に基づいて、どのタスクをラベル付けるかを体系的かつ能動的に選択する手法を開発すること。
• タスク選択と伝達重みの影響を全体的な予測誤差に定量化する一般化バウンドを導出すること。
• 本手法の優位性を、合成データおよび実世界データの両設定において、受動的およびベースライン手法と比較して実証的に検証すること。

提案手法

• タスク固有の凸重みを用いて、複数のタスクの訓練誤差を統合する統一されたインスタンスベースの伝達手法を提案する。
• ラベル付きタスクのサブセットと伝達重みに依存する一般化バウンドを導出する。このバウンドは、ラベル付きタスク間およびラベル付きからラベルなしタスクへの伝達を捉えている。
• 一般化バウンドに含まれる計算可能な項を目的関数として用い、アクティブ設定におけるタスク選択と伝達重みの最適化を実現する。
• 勾配降下法とGraSPアルゴリズムを用いて最適化を実行し、アクティブなタスク選択にはk-means++初期化を適用する。
• 本手法を2つの状況に適用する：受動的（固定されたラベル付きタスク集合）とアクティブ（学習者がどのタスクをラベル付けるか選択）の設定。
• 個々のタスク予測器には最小二乗リッジ回帰を用い、正則化定数の選定には交差検証を適用する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きタスクからラベルなしタスクへの情報伝達が、ラベル付きタスクのサブセットしか持たないマルチタスク学習設定で有効に行えるか。
• RQ2 学習性能を最大化するために、データ依存的かつ体系的な方法でラベル付きタスクのサブセットをどのように選択すべきか。
• RQ3 本手法のハイブリッドマルチタスクおよびドメイン適応設定において、タスク選択と伝達重みの組み合わせ効果を定量化できる一般化バウンドは何か。
• RQ4 アクティブなタスク選択戦略は、受動的選択と比較して、正確性およびラベル効率の面でどのように優れているか。
• RQ5 （例：タスクの滑らかさなど）どのような条件下で、本手法が期待される成功を収めるか。

主な発見

• アクティブドメイン適応にインspiredされた手法（Active DA）は、合成データおよび実データの両方で標準的なマルチタスク手法（20）を上回り、特に最適予測器がタスク間で著しく異なる場合に顕著な優位性を示す。
• アクティブなタスク選択手法（Active DAおよびActive DA-SS）は、すべてのラベル割合において、受動的対応手法（DAおよびDA-SS）を一貫して上回り、同等の精度に到達するためのラベル付きタスク数を削減できる。
• 本手法は、タスクの半数がラベル付きの場合でも、完全ラベル付きベースラインとほぼ同等の性能を達成しており、高いラベル効率を示している。
• 合成データでは、Active DAが完全ラベル付きベースラインをマルチソース伝達においても上回っており、タスクが関連している場合に、戦略的なラベル付けが完全ラベル付けを凌駕できることを示している。
• ドメイン適応にインspiredされたアプローチ（DA）は、特にタスクの多様性が高い状況において、マルチタスクベースラインを明確に上回っており、タスク固有の予測器を学習する柔軟性のおかげである。
• 結果から、コストと正確性の両面で、すべてのタスクに均等にラベルを分散させるのではなく、代表的なタスクのサブセットに集中してラベルを割り当てる戦略がより効果的であることが確認された。