[論文レビュー] Clustered Multi-Task Learning: A Convex Formulation

Laurent Jacob, Francis Bach+1 more|arXiv (Cornell University)|Sep 11, 2008

Face and Expression Recognition参考文献 12被引用数 285

ひとこと要約

本稿では、未知のタスククラスタ内での重みベクトルの類似性を促進する、新規のスペクトルノルムを導入することで、クラスタリングされたマルチタスク学習の凸最適化フレームワークを提案する。この手法は、タスククラスタと共有表現を同時に学習し、合成データおよびiedb MHC-I結合データセットにおいて、凸および非凸のベースラインを上回る性能を示し、特に低データ環境下で顕著な優位性を示す。

ABSTRACT

In multi-task learning several related tasks are considered simultaneously, with the hope that by an appropriate sharing of information across tasks, each task may benefit from the others. In the context of learning linear functions for supervised classification or regression, this can be achieved by including a priori information about the weight vectors associated with the tasks, and how they are expected to be related to each other. In this paper, we assume that tasks are clustered into groups, which are unknown beforehand, and that tasks within a group have similar weight vectors. We design a new spectral norm that encodes this a priori assumption, without the prior knowledge of the partition of tasks into groups, resulting in a new convex optimization formulation for multi-task learning. We show in simulations on synthetic examples and on the IEDB MHC-I binding dataset, that our approach outperforms well-known convex methods for multi-task learning, as well as related non convex methods dedicated to the same problem.

研究の動機と目的

• タスクが自然にクラスタに分類されるが、事前にクラスタメンバーシップが不明な状況におけるマルチタスク学習の課題に対処すること。
• 分割の事前知識が不要な、クラスタ内でのタスク類似性を反映する正則化ペナルティを設計すること。
• 組み合わせ的クラスタリング問題の凸緩和を提案し、効率的な最適化とスケーラブルな推論を可能にすること。
• 最適化プロセスの副産物として、クラスタ同定とモデル学習を同時に実現し、外れ値検出やタスク構造の同定を支援すること。
• 構造的ノルムを用いたタスククラスタリングにより、一般化性能を向上させること—特に低データ環境下での性能向上を目的とする。

提案手法

• 学習されたクラスタ構造によって変換された行列の核ノルムをペナルティとする、新規のスペクトルノルム「クラスタノルム（CN）」を提案し、クラスタ内での類似性を強制する。
• クラスタノルムを正則化項として用いた凸最適化問題としてマルチタスク学習を定式化し、標準的な凸ソルバーを用いて効率的に解けるようにする。
• タスク類似性を符号化する対称的かつ半正定値行列Σを導入することで、離散的クラスタリング問題の凸緩和を実現する。
• 重み行列Wと類似度行列Σの両方を、ADMMに類似した逐次的最適化手法を用いて同時に最適化する。
• 類似度行列Σが有効な類似度行列（対称的、半正定値、単位対角成分）のまま保たれるように、再投影ステップを導入する。
• 線形回帰およびロジスティック損失を用いた分類に本手法を適用し、合成データおよび実世界のMHC-I結合予測に対する実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 クラスタ構造が事前に不明な状況下でも、凸最適化フレームワークがタスククラスタと共有表現を効果的に学習できるか？
• RQ2 タスククラスタリングを組み込んだ新規のスペクトルノルムは、標準的な凸マルチタスク学習手法と比較して一般化性能を向上させるか？
• RQ3 タスク共有が最も有益である低データ環境下で、本手法はどのように性能を発揮するか？
• RQ4 本手法は、データから意味のあるクラスタ構造を回復できるか？また、その構造は既知の生物学的またはドメイン固有のグループ化と整合性を示すか？
• RQ5 クラスタリング問題の凸緩和は、非凸の代替手法や標準的なマルチタスクノルムと比較して、より優れた性能を発揮するか？

主な発見

• 28件のトレーニングポイントを有する合成データでは、クラスタノルム（CN）手法がトレースノルムおよびk-meansベースの手法と比較して顕著に低いテスト誤差を達成し、特に低データ環境下で優位性を示した。
• 50件のトレーニングポイントでは、CNは真のクラスタ構造を部分的に回復したが、k-meansは完全に失敗した。これにより、凸定式化のロバストネスが裏付けられた。
• iedb MHC-I結合データセットでは、200件未満のトレーニングペプチドを有する10個の分子について、CN手法が8.71% ± 1.5%のテスト誤差を達成し、次善の手法（トレースノルム：9.20% ± 1.3%）を上回った。
• 本手法は、プーリングおよび標準的なマルチタスク学習ベースラインをすべて上回り、タスクごとのデータ量が限られる状況下で、構造的クラスタリングが性能向上に寄与することを示した。
• 学習された類似度行列Σは、iedbデータセットにおける既知の生物学的スーパータイプを完全には回復できなかったが、これは本手法が潜在的な構造を捉えているが、さらに精錬や追加のインダクティブバイアスを必要としている可能性を示唆している。
• 再投影およびCNinitのバリエーションは性能向上をもたらさず、この設定では学習された構造が十分に強くなく、精錬による恩恵が得られなかったことを示している。