[論文レビュー] The Benefit of Multitask Representation Learning

Andreas Maurer, Massimiliano Pontil+1 more|arXiv (Cornell University)|May 23, 2015

Sparse and Compressive Sensing Techniques参考文献 33被引用数 110

ひとこと要約

本稿では、マルチタスク表現学習（MTRL）の理論的分析を提示し、マルチタスク学習（MTL）および学習する学習（LTL）の両設定において、独立したタスク学習よりも統計的に優位であることを示している。経験過程理論を用いることで、著者らは次元に依存しない境界を導出し、タスク数とサンプルサイズが内部データ次元性に対して十分に大きい場合、特に高次元入力と限られたデータを有する半空間学習においてMTRLが有益であることを明らかにした。

ABSTRACT

We discuss a general method to learn data representations from multiple tasks. We provide a justification for this method in both settings of multitask learning and learning-to-learn. The method is illustrated in detail in the special case of linear feature learning. Conditions on the theoretical advantage offered by multitask representation learning over independent task learning are established. In particular, focusing on the important example of half-space learning, we derive the regime in which multitask representation learning is beneficial over independent task learning, as a function of the sample size, the number of tasks and the intrinsic data dimensionality. Other potential applications of our results include multitask feature learning in reproducing kernel Hilbert spaces and multilayer, deep networks.

研究の動機と目的

• マルチタスク学習（MTL）および学習する学習（LTL）の両設定において、マルチタスク表現学習（MTRL）の厳密な理論的裏付けを提供すること。
• 特に高次元入力空間でデータが限られる状況において、MTRLが独立したタスク学習よりも統計的に優位である条件を確立すること。
• 経験過程理論を用いて、対数因子やカバー数技術を避ける次元に依存しない一般化誤差境界をMTRLに対して導出すること。
• 線形特徴抽出と半空間学習に分析を特化し、MTRLが有益となる領域を同定すること。
• 再生核ヒルバート空間（RKHS）、ディープネットワーク、スパースコーディングを含む非線形設定へフレームワークを拡張すること。

提案手法

• 本手法は、共通の仮説クラス H を用いて複数のタスクにわたる共有表現を同時に学習する一般的な MTRL フレームワークを採用している。
• 経験過程理論を用いて、入力次元性に依存しないデータ依存の誤差境界を導出し、従来のカバー数に基づく境界よりも改善している。
• 一般化誤差を4つの成分に分解する：経験的乖離、最適化誤差、一般化ギャップ、近似誤差。
• 線形特徴抽出の場合は、特徴マップとタスク固有の予測器の構造を活用し、無限次元入力空間でもタイトな境界を導出している。
• 非線形設定への拡張は、再生核ヒルバート空間（RKHS）およびマルチレイヤー構造を考慮することで実現している。
• 独立学習の一般下界との比較により、理論的境界が妥当性を確認され、共有構造が存在する際には明確な優位性が示された。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク表現学習が各タスクを独立に学習する場合に比べて統計的に優位である条件は何か？
• RQ2 半空間学習において、MTRLの利点はタスク数、サンプルサイズ、および内部データ次元性にどのように依存するか？
• RQ3 次元に依存しない誤差境界をMTRLに対して導出し、対数因子を避け、無限次元入力空間でも有効であるようにできるか？
• RQ4 高次元・低サンプルサイズ問題において、MTRLが特に効果的となる領域は何か？
• RQ5 MTRLの理論的境界は、独立タスク学習の下界と比べてどのように異なるか？

主な発見

• MTRLは、タスク数と学習サンプル数が内部データ次元性に対して十分に大きい場合、特に高次元入力と限られたデータを有する状況で、独立学習よりも統計的に優位である。
• 経験過程理論を用いることで、次元に依存しない誤差境界を達成し、カバー数解析で一般的に見られる対数因子を回避している。
• 半空間学習の理論的分析により、MTRLが有益となる明確な領域が特定され、サンプルサイズ、タスク数、およびデータ次元性の相互作用によって定量化された。
• 導出された境界は無限次元入力空間に対しても有効であり、カーネル法や非線形特徴マップを有するディープネットワークへの応用が可能である。
• フレームワークは非線形表現をサポートしており、再生核ヒルバート空間（RKHS）の表現やスパースコーディング、ディープアーキテクチャの解析に適している。
• 一般化境界における近似誤差項が非正であることが示され、共有表現が性能を向上または維持することを確認した。