[論文レビュー] Co-Clustering for Multitask Learning

Keerthiram Murugesan, Jaime Carbonell+1 more|arXiv (Cornell University)|Mar 3, 2017

Advanced Clustering Algorithms Research参考文献 20被引用数 7

ひとこと要約

本論文は、柔軟な行列分解を用いてタスクと特徴量の共クラスタリングを同時に学習する、新しいマルチタスク学習フレームワークを提案する。これにより、異なる数のタスククラスタと特徴クラスタを持つ共有の潜在表現を実現する。共役勾配勾配降下法と一般化されたシルベスター方程式を用いることで、ベンチマークデータセットにおいて最先端の性能を達成し、分類および転移学習の両設定で、既存のマルチタスク学習ベースラインを上回る。

ABSTRACT

This paper presents a new multitask learning framework that learns a shared representation among the tasks, incorporating both task and feature clusters. The jointly-induced clusters yield a shared latent subspace where task relationships are learned more effectively and more generally than in state-of-the-art multitask learning methods. The proposed general framework enables the derivation of more specific or restricted state-of-the-art multitask methods. The paper also proposes a highly-scalable multitask learning algorithm, based on the new framework, using conjugate gradient descent and generalized extit{Sylvester equations}. Experimental results on synthetic and benchmark datasets show that the proposed method systematically outperforms several state-of-the-art multitask learning methods.

研究の動機と目的

• 既存のマルチタスク学習手法がタスク関係または共有特徴表現のどちらか一方を学習するが、両方を同時に学習できないという限界を解決する。
• 過去の共クラスタリング手法がタスククラスタ数と特徴クラスタ数が等しいという制限付きの仮定を採用しているのを克服する。
• 構造化最適化を活用するスケーラブルで効率的なアルゴリズムを、大規模マルチタスク学習に向け開発する。
• 共有潜在部分空間においてタスクと特徴量の関係を同時にモデル化することで、一般化性能と転移性能の向上を実証する。

提案手法

• タスクパラメータを共有潜在特徴行列 F とタスク構造行列 G に分解する BiFactor MTL モデルを提案し、低ランク表現学習を可能にする。
• タスクと特徴量の独立したクラスタリングを可能にするために、追加の要因 S を導入した TriFactor MTL モデルを提案し、BiFactor MTL よりも高い柔軟性を実現する。
• 最適化問題をモデル化するために一般化されたシルベスター方程式を採用し、共役勾配勾配降下法による効率的解法を可能にする。
• 大規模最適化問題を解くために共役勾配勾配降下法を用い、高次元マルチタスク設定へのスケーラビリティを確保する。
• 行列分解と交互最適化を用いて学習手順を導出する。正則化された目的関数を最小化することで、低ランク性とクラスタ構造を促進する。
• 出力カーネル学習の原則を暗黙的に活用し、タスク間および特徴量間の関係を捉える共有特徴表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 タスクと特徴量の共クラスタリングを同時に学習することで、一方のみを学習する手法と比較してマルチタスク学習性能が向上するか？
• RQ2 タスククラスタ数と特徴クラスタ数を異なる数に許容することで、マルチタスク設定における一般化性能と表現学習性能が向上するか？
• RQ3 提案フレームワークは、多数のタスクと特徴量を含む大規模マルチタスク学習問題に効率的にスケーリング可能か？
• RQ4 学習された共有表現は、転移学習のシナリオにおいて、新しい未観測タスクにどの程度一般化されるか？
• RQ5 TriFactor MTLにおける追加の因子分解は、BiFactor MTL や既存の最先端手法と比較して、どの程度性能を向上させるか？

主な発見

• TriFactor MTL は、すべてのベンチマークデータセットで最高の F スコアを達成し、126 タスクのセンチメント検出実験では平均 F スコア 0.632 を記録。GO-MTL（0.539）と BiFactor（0.574）を顕著に上回った。
• 20 Newsgroups データセットでは、5 タスクにおける平均 F スコアが 0.54 に達し、BiFactor MTL（0.51）と GO-MTL（0.49）を上回り、優れた転移学習能力を示した。
• テストされたすべての合成および実世界データセットで、CMTL、MTFL、SHAMO を含む最先端のマルチタスク学習ベースラインを体系的に上回った。
• 共役勾配勾配降下法と一般化されたシルベスター方程式の組み合わせにより、最適化が効率的に行えるようになり、数千のタスクを含む大規模マルチタスク学習にもスケーラブルとなった。
• TriFactor MTL におけるタスクと特徴量の柔軟なクラスタリングは、同じクラスタ数を仮定する BiFactor MTL よりも優れた性能を示し、独立したクラスタモデリングの重要性を裏付けた。
• 転移学習実験では、ソースタスクから学習した表現を用いて、新しいターゲットタスクへの適応が強く示され、10% の訓練データサブセットでも有効な知識転送が確認された。