[論文レビュー] A Convex Feature Learning Formulation for Latent Task Structure Discovery

Pratik Jawanpuria, J. Saketha Nath|arXiv (Cornell University)|Jun 18, 2012

Sparse and Compressive Sensing Techniques参考文献 27被引用数 7

ひとこと要約

本稿では、タスク関係の階層的構造を活用するグラフベースの正則化子を用いて、マルチタスク学習における関連するタスク群とそれらの共有特徴空間を同時に発見する凸最適化フレームワークを提案する。この手法により、パラメータが類似するタスククラスタと共有特徴を、計算量的に効率的な多項式時間で特定可能となり、ベンチマークデータセットにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

This paper considers the multi-task learning problem and in the setting where some relevant features could be shared across few related tasks. Most of the existing methods assume the extent to which the given tasks are related or share a common feature space to be known apriori. In real-world applications however, it is desirable to automatically discover the groups of related tasks that share a feature space. In this paper we aim at searching the exponentially large space of all possible groups of tasks that may share a feature space. The main contribution is a convex formulation that employs a graph-based regularizer and simultaneously discovers few groups of related tasks, having close-by task parameters, as well as the feature space shared within each group. The regularizer encodes an important structure among the groups of tasks leading to an efficient algorithm for solving it: if there is no feature space under which a group of tasks has close-by task parameters, then there does not exist such a feature space for any of its supersets. An efficient active set algorithm that exploits this simplification and performs a clever search in the exponentially large space is presented. The algorithm is guaranteed to solve the proposed formulation (within some precision) in a time polynomial in the number of groups of related tasks discovered. Empirical results on benchmark datasets show that the proposed formulation achieves good generalization and outperforms state-of-the-art multi-task learning algorithms in some cases.

研究の動機と目的

• タスク関係の事前知識がなくとも、関連するタスク群が共通の特徴空間を共有することを自動で発見すること。
• 既存のマルチタスク学習手法がタスクの関連性や共有特徴構造を事前に知っていると仮定しているという限界を克服すること。
• 凸最適化の枠組みを用いて、指数的サイズの可能なタスクグループ化の空間を効率的に探索すること。
• 計算の tractability（取り扱いやすさ）を保証しながら、タスクグループ化と共有特徴を同時に学習するアルゴリズムの開発。
• 構造化正則化により潜在的なタスク構造を捉えることで、ベンチマークデータセットにおける汎化性能と性能を向上させること。

提案手法

• 本手法は、タスクグループ間の階層的関係を符号化するグラフベースの正則化子を用いた凸最適化定式化を採用する。
• 正則化子により、あるタスクグループが特徴空間を共有する場合、そのすべての部分グループも同様に特徴空間を共有することを保証し、効率的な探索を可能にする。
• 階層的構造を活用するためのアクティブセット法が設計され、探索空間が削減され、多項式時間での収束が保証される。
• 定式化により、発見されたタスククラスタ全体でタスク固有のパラメータと共有特徴表現を同時に最適化する。
• タスクグループ化と共有特徴の両方にスパarsity（スパarsity）を促進するように最適化問題を構造化し、解釈可能性と汎化性能を向上させる。
• 発見されたタスクグループ数に関して、所定の精度内に収束する時間が多項式的に保証される。

実験結果

リサーチクエスチョン

• RQ1 凸最適化フレームワークは、タスク関係の事前知識がなくとも、マルチタスク学習における潜在的タスクグループ化と共有特徴空間を効果的に発見できるか？
• RQ2 タスクグループ間の階層的構造をどのように符号化すれば、可能なグループ化の指数的サイズの空間における効率的探索が可能になるか？
• RQ3 提案手法は、最先端のマルチタスク学習アルゴリズムと比較して、どの程度汎化性能と性能が向上するか？
• RQ4 提案された定式化は、計算効率を維持しながら、同時にタスクグループ化と共有特徴を学習できるか？
• RQ5 グラフベースの正則化子は、意味的で構造的に整合性のあるタスククラスタの発見にどのような影響を及えるか？

主な発見

• 提案された凸定式化は、計算的に効率的な方法でタスクグループ化と共有特徴空間を発見できた。
• アクティブセット法は、発見されたタスクグループ数に対して多項式時間で収束を達成し、スケーラビリティを保証した。
• ベンチマークデータセットにおける実験結果から、本手法は良好な汎化性能を示し、特定の設定では最先端のマルチタスク学習アルゴリズムを上回った。
• グラフベースの正則化子はタスクグループの階層構造を効果的に符号化し、重複した探索を回避することで効率性を向上させた。
• 本手法は、事前に構造が分かっていなくても、意味的で整合性のある関連タスククラスタと共有特徴を強く特定できることが示された。
• 定式化はロバストでスケーラブルであり、ユーザーが定めた精度内に収束することが保証された。