[論文レビュー] Convex Multitask Learning with Flexible Task Clusters

Wenliang Zhong, James T. Kwok|arXiv (Cornell University)|Jun 18, 2012

Sparse and Compressive Sensing Techniques参考文献 27被引用数 36

ひとこと要約

本稿では、タスクの関係性を特徴レベルでモデル化することで、事前にクラスタ数を定義せずに、柔軟でデータ駆動型のタスククラスタリングを可能にする凸マルチタスク学習フレームワークを提案する。この手法は、加速型近接勾配法を用いて解ける強い凸最適化定式化を採用しており、合成データおよび実世界のデータセットにおいて一貫した最先端の精度を達成するとともに、特徴固有の妥当なタスク構造を同定する。

ABSTRACT

Traditionally, multitask learning (MTL) assumes that all the tasks are related. This can lead to negative transfer when tasks are indeed incoherent. Recently, a number of approaches have been proposed that alleviate this problem by discovering the underlying task clusters or relationships. However, they are limited to modeling these relationships at the task level, which may be restrictive in some applications. In this paper, we propose a novel MTL formulation that captures task relationships at the feature-level. Depending on the interactions among tasks and features, the proposed method construct different task clusters for different features, without even the need of pre-specifying the number of clusters. Computationally, the proposed formulation is strongly convex, and can be efficiently solved by accelerated proximal methods. Experiments are performed on a number of synthetic and real-world data sets. Under various degrees of task relationships, the accuracy of the proposed method is consistently among the best. Moreover, the feature-specific task clusters obtained agree with the known/plausible task structures of the data.

研究の動機と目的

• タスクが非一貫的である場合に生じる負の転送を軽減するため、タスクレベルではなく特徴レベルでタスク関係性をモデル化すること。
• クラスタ数を事前に指定する必要を排除し、特徴固有のクラスタリングを可能にすること。
• スケーラブルで安定した学習を可能にする、計算的に効率的な強い凸最適化定式化を開発すること。
• 各特徴ごとの非一様なタスク相互作用を捉えることで、多様なタスク関係パターンにおいて一般化性能と精度を向上させること。

提案手法

• タスク関係性を特徴固有のクラスタリング行列を通じてモデル化する新しいマルチタスク学習定式化を導入する。
• グループラasso型正則化を用いてタスク関係性におけるスパarsityを促進し、各特徴ごとにタスククラスタの自動発見を可能にする。
• 収束性と安定性を保証する強い凸最適化フレームワークを採用し、加速型近接勾配法により解けるようにする。
• クラスタ数の事前知識が不要な状態で、異なる特徴に対してその相互作用パターンに応じて適応的に異なるタスククラスタを構築する。
• 最適化問題は凸であるように設計されており、高次元設定でも効率的かつ信頼性の高い解法が可能である。
• 定式化により、特徴ごとに異なるが柔軟でデータ駆動型のタスクグループ化が可能となり、モデルの適応性が向上する。

実験結果

リサーチクエスチョン

• RQ1 タスク関係性をタスクレベルではなく特徴レベルでモデル化することで、マルチタスク学習の性能を向上させることができるか？
• RQ2 事前にクラスタ数を定義せずに、タスククラスタを自動で発見する方法は何か？
• RQ3 凸最適化フレームワークは、特徴間で多様なタスク関係性を効果的に捉えつつ、計算効率を維持できるか？
• RQ4 提案手法は、タスクの一貫性の程度が異なる状況においても一貫して既存のマルチタスク学習手法を上回る性能を示すか？
• RQ5 学習された特徴固有のタスククラスタは、既知のまたは妥当なデータ構造と整合性を示すか？

主な発見

• 提案手法は、複数の合成データおよび実世界のデータセットにおいて一貫した高い精度を達成し、さまざまなタスク関係性の条件下で最先端のベースラインを上回るか同等の性能を示した。
• クラスタ数を事前に指定する必要なく、特徴固有のタスククラスタを自動で発見した。
• 学習されたタスククラスタは解釈可能であり、データに内在する既知または妥当なタスク構造と整合しており、モデルが意味のある関係性を捉えられる能力を裏付けた。
• 強い凸定式化により、加速型近接勾配法を用いた効率的で安定した最適化が可能となり、信頼性の高い収束が保証された。
• 実験により、タスクが弱く関連している場合や部分的に一貫性がある場合でも、性能が安定しており、負の転送のリスクが低減された。