[論文レビュー] Local Rademacher Complexity-based Learning Guarantees for Multi-Task Learning

Niloofar Yousefi, Yunwen Lei+3 more|arXiv (Cornell University)|Feb 18, 2016

Machine Learning and Algorithms参考文献 41被引用数 4

ひとこと要約

本稿は、局所的ラデマッハ複雑度（LRC）を用いて、マルチタスク学習（MTL）の鋭い一般化バウンドを確立し、従来のグローバル・ラデマッハ複雑度解析よりも高速な収束レートを導出する。ノルム正則化および強く凸な仮説クラスに適用可能な新規のLRCバウンドを導入することで、スチャッテンノルム、グループノルム、グラフ正則化MTL手法に対する高速レートの超過リスクバウンドを可能にする。

ABSTRACT

We show a Talagrand-type concentration inequality for Multi-Task Learning (MTL), using which we establish sharp excess risk bounds for MTL in terms of distribution- and data-dependent versions of the Local Rademacher Complexity (LRC). We also give a new bound on the LRC for norm regularized as well as strongly convex hypothesis classes, which applies not only to MTL but also to the standard i.i.d. setting. Combining both results, one can now easily derive fast-rate bounds on the excess risk for many prominent MTL methods, including---as we demonstrate---Schatten-norm, group-norm, and graph-regularized MTL. The derived bounds reflect a relationship akeen to a conservation law of asymptotic convergence rates. This very relationship allows for trading off slower rates w.r.t. the number of tasks for faster rates with respect to the number of available samples per task, when compared to the rates obtained via a traditional, global Rademacher analysis.

研究の動機と目的

• ゲノミクスや神経科学などの科学的応用分野において、個々のタスクの訓練データが限られているという課題に対処する。
• マルチタスク学習（MTL）において、保守的で収束が遅い結果をもたらすグローバル・ラデマッハ複雑度（GRC）解析の限界を克服する。
• 学習アルゴリズムが仮説空間の制限された部分集合内で仮説を選択するという事実を反映する、局所的ラデマッハ複雑度（LRC）を活用した、よりタイトでデータ依存のMTL一般化解析を構築する。
• ノルム正則化および強く凸な仮説クラスに適用可能な新規のLRCバウンドと、タラグランド型集中不等式を組み合わせることで、MTLにおける高速レートの超過リスクバウンドを導出する。
• スチャッテンノルム、グループノルム、グラフ正則化MTLといった代表的なMTL手法に対して、理論的枠組みの実用的有用性を示す。

提案手法

• マルチタスク学習設定にタラグランド型集中不等式を適応し、超過リスクを局所的ラデマッハ複雑度（LRC）の観点からバウンドする。
• ノルム正則化または強く凸な正則化子を有する仮説クラスのLRCに対する新しい上界を導入し、MTLおよび標準的なi.i.d.学習設定の両方に適用可能である。
• ラデマッハ変数の期待値をとることで、経験的LRCを用いてデータ依存の超過リスクバウンドを導出し、よりタイトな一般化保証を得る。
• 仮説空間の固有値特性を分析することで、スチャッテンノルム、グループノルム、グラフ正則化MTLといった特定のMTL定式化に、導出されたバウンドを適用する。
• 導出されたLRC上界と集中不等式を用いて、最適な経験的リスクバウンドを求めるための固定点方程式を確立する。
• 得られた収束レートをグローバル・ラデマッハ複雑度解析の結果と比較し、タスク数と1タスクあたりのサンプル数における収束レートの間で、遅いレート（タスク数）と速いレート（サンプル数）のトレードオフが生じることを示す。

実験結果

リサーチクエスチョン

• RQ1 局所的ラデマッハ複雑度は、グローバル・ラデマッハ複雑度と比較して、マルチタスク学習におけるより鋭い一般化バウンドを提供できるか？
• RQ2 LRCに基づく解析において、タスク数と1タスクあたりのサンプル数における収束レートの関係は何か？
• RQ3 ノルム正則化および強く凸な仮説クラスにおいて、MTLの文脈で局所的ラデマッハ複雑度をどのようにバウンドできるか？
• RQ4 スチャッテンノルム、グループノルム、グラフ正則化MTLといった既存のGRCベースのバウンドと比較して、導出されたバウンドはどの程度改善されるか？
• RQ5 提案された枠組みは、タスクとサンプルの複雑さの間で保存則に類似したトレードオフを反映する高速レートの超過リスクバウンドを導出できるか？

主な発見

• 本稿は、従来のグローバル・ラデマッハ複雑度ベースのバウンドよりも、特に1タスクあたりのサンプル数に応じた漸近的収束レートを向上させる超過リスクバウンドを導出する。
• 導出されたバウンドは鋭く、データ依存的であり、実際に学習アルゴリズムが選択する可能性の高い仮説の部分集合に焦点を当てることで、アルゴリズムの実際の性能を反映する。
• ノルム正則化および強く凸な仮説クラスのための局所的ラデマッハ複雑度に対する新しいバウンドが確立され、これはMTLにとどまらず、標準的なi.i.d.学習に対しても一般に適用可能である。
• スチャッテンノルム、グループノルム、グラフ正則化MTLに対して、タスク数の収束が遅くても、1タスクあたりのサンプル数の収束が速くなることで相殺されるというトレードオフを反映する高速レートの超過リスクバウンドを提供する。
• 解析により、タスク数とサンプル数における収束レートの間で、保存則に類似した関係が明らかになり、一方の利点を相殺する形で他方の欠損を補填できるため、より柔軟で頑健な学習保証が可能になる。
• 導出されたバウンドの固定点解は、有効次元（有効ランクの和）および仮説空間の固有値減衰に明示的な依存関係を持つ閉形式の式として得られる。