[論文レビュー] Convex Learning of Multiple Tasks and their Structure

Carlo Ciliberto, Youssef Mroueh+2 more|arXiv (Cornell University)|Apr 13, 2015

Sparse and Compressive Sensing Techniques参考文献 39被引用数 37

ひとこと要約

本稿では、タスク間の関係に関する事前知識を表現する一般化された凸罰則を用いて、複数の機械学習タスクとその背後にある構造を同時に学習するための凸最適化フレームワークを提案する。この手法は、収束が保証されたブロック座標降下法を採用しており、従来のマルチタスク学習手法を一般化し、ベクトル値再生成ヒルバート空間を介してタスクとその相関関係の効率的かつ統合的な学習を可能にする。

ABSTRACT

Reducing the amount of human supervision is a key problem in machine learning and a natural approach is that of exploiting the relations (structure) among different tasks. This is the idea at the core of multi-task learning. In this context a fundamental question is how to incorporate the tasks structure in the learning problem.We tackle this question by studying a general computational framework that allows to encode a-priori knowledge of the tasks structure in the form of a convex penalty; in this setting a variety of previously proposed methods can be recovered as special cases, including linear and non-linear approaches. Within this framework, we show that tasks and their structure can be efficiently learned considering a convex optimization problem that can be approached by means of block coordinate methods such as alternating minimization and for which we prove convergence to the global minimum.

研究の動機と目的

• 複数のタスクとその構造的関係を統合的に学習できる統一的で凸な最適化フレームワークの構築を目的とする。
• タスク類似度に関する事前知識を表現できる広範な凸罰則を組み込むことで、既存のマルチタスク学習手法を一般化することを目的とする。
• 得られた最適化問題を解くための計算的に効率的で、証明可能な収束性を有するアルゴリズムの提供を目的とする。
• 事前に指定されたタスク関係を必要とせず、タスク予測子とその背後にある構造をエンドツーエンドで学習可能にする。
• 実世界のデータセットを用いた実験を通じて、単一タスク学習および従来のマルチタスクベースラインと比較して性能が向上することを検証する。

提案手法

• フレームワークは、再生成ヒルバート空間（RKHSvv）におけるベクトル値関数の成分としてタスクをモデル化することで、線形および非線形の関係を柔軟に表現可能とする。
• タスク構造行列に対する凸罰則を用いた一般化された正則化スキームを導入し、タスク類似度やグループ化に関する事前知識を表現可能とする。
• 最適化問題は、タスク予測子の更新とタスク構造行列の最適化を交互に繰り返すブロック座標降下法により解く。
• 弱い仮定のもとでグローバル最小値への収束を保証するため、バリア法をブロック座標降下法と組み合わせる。
• マルチタスク特徴学習、出力カーネル学習、関係学習などの従来手法を特殊ケースとして包含するため、それらを一般化する。
• 行列値カーネルの学習を可能とし、タスク関数とその構造的依存関係を同時に最適化可能とする。

実験結果

リサーチクエスチョン

• RQ1 複数のタスクとその構造的関係を統合的に学習できる統一的で凸な最適化フレームワークを開発できるか？
• RQ2 広範な凸罰則を用いてマルチタスク学習におけるタスク類似度に関する事前知識をどのように表現できるか？
• RQ3 交互最小化を用いたブロック座標降下法が、この一般的なマルチタスク学習問題のクラスに対してグローバル最適解に収束するか？
• RQ4 事前に固定された構造や事前定義された構造とは異なり、タスク構造を同時に学習することで、一般化性能がどの程度向上するか？
• RQ5 実世界のデータセットにおいて、本手法は既存のマルチタスク学習ベースラインと比較してどのように性能を発揮するか？

主な発見

• 提案された凸最適化フレームワークは、弱い仮定のもとでグローバル最小値への収束が保証され、タスクとその構造の統合的学習を可能にする。
• Sarcosデータセットでは、1タスクあたり100件の訓練例を用いた場合、単一タスク学習よりも正規化された改善度が0.1421 ± 0.0081の向上を達成した。
• 15-Scenesデータセットでは、1クラスあたり150件の訓練例を用いた場合、平均分類正答率が80.21 ± 0.05%に達し、単一タスクベースラインの79.23 ± 0.01%を上回った。
• MTFL、MTRL、OKLなどの従来手法は、提案されたフレームワークの特殊ケースとして包含され、一般化されたものであることが示された。
• 実験結果から、特に訓練データが限られた状況でも一貫した性能向上が確認され、構造とタスクの統合的学習の有効性が裏付けられた。
• ブロック座標降下法は強力な実験的効率性を示しており、マルチタスク学習の実用的導入に向けた可能性を示唆している。