[論文レビュー] Excess risk bounds for multitask learning with trace norm regularization

Andreas Maurer, Massimiliano Pontil|arXiv (Cornell University)|Dec 6, 2012

Sparse and Compressive Sensing Techniques参考文献 18被引用数 18

ひとこと要約

本稿では、トレースノルム正則化を用いたマルチタスク学習の過剰リスクバウンドを確立し、一般化誤差が入力次元に依存しない形でタスク数、タスクあたりのサンプル数、およびデータ分布に依存することを示している。主な貢献は、高次元または無限次元空間における構造的正則化による一般化の向上を理論的に分析したもので、サブ指数的モーメントを有するランダムな正定値対称行列の和に関する新たな濃縮不等式を含む。

ABSTRACT

Trace norm regularization is a popular method of multitask learning. We give excess risk bounds with explicit dependence on the number of tasks, the number of examples per task and properties of the data distribution. The bounds are independent of the dimension of the input space, which may be infinite as in the case of reproducing kernel Hilbert spaces. A byproduct of the proof are bounds on the expected norm of sums of random positive semidefinite matrices with subexponential moments.

研究の動機と目的

• トレースノルム正則化を用いたマルチタスク学習の理論的過剰リスクバウンドを提供すること。
• 一般化誤差がタスク数、タスクあたりのサンプル数、およびデータ分布にどのように依存するかを分析すること。
• 入力空間次元に依存しないバウンドを導出すること、無限次元ケース（例えば再生核ヒルバート空間）を含むこと。
• サブ指数的モーメントを有するランダムな正定値対称行列の和に関する新たな濃縮不等式を確立することを副産物とする。

提案手法

• 著者たちは、マルチタスク学習をヒルバート空間から R^T への線形写像としてモデル化し、各タスクの予測子を重みベクトルで定義する。
• トレースノルムによる制約集合上での経験的リスク最小化を採用する：||W||_1 ≤ B√T であり、これはタスク間で低ランク構造を強制する。
• 期待リスクのずれをバウンドするためのラデマッハ複雑度解析をキーテクニックとし、対称化と行列濃縮不等式を用いる。
• 証明は、独立なランク1の正定値自己線形作用素の和に対するモーメント生成関数と行列チェルノフ型バウンドを活用する。
• 非i.i.d.なタスクのサンプリングを考慮するため、サンプルサイズの調和平均 n̄ を導入する。
• 行列濃縮のための定理7および定理8を用いて理論的バウンドを導出し、T および n̄ に対して対数的依存性を持つ明示的なリスクバウンドを得る。

実験結果

リサーチクエスチョン

• RQ1 トレースノルム正則化を施したマルチタスク学習の過剰リスクは、タスク数とタスクあたりのサンプル数にどのようにスケーリングされるか？
• RQ2 入力空間次元に依存しない一般化バウンドを導出できるか、特に無限次元ヒルバート空間（例：再生核ヒルバート空間）においても成立するか？
• RQ3 トレースノルムがタスク間の構造的依存性を誘導し、一般化を向上させる役割は何か？
• RQ4 サブ指数的モーメントを有するランダムな正定値対称行列の和はどのように濃縮するのか？この結果が学習理論に与える影響は何か？

主な発見

• 過剰リスクバウンドは、O(√(||C||_∞ / n̄) + √(log(nT)/n̄T)) とスケーリングされ、||C||_∞ は共分散作用素のスペクトルノルム、n̄ はタスクのサンプルサイズの調和平均である。
• バウンドは次元に依存せず、入力空間が無限次元（例：再生核ヒルバート空間）であっても成立する。
• サブ指数的モーメントを有するランダムな正定値対称行列の和に関する新たな濃縮不等式が導出され、期待作用素ノルムがその平均のまわりにサブガウス型の挙動で濃縮することを示している。
• トレースノルム制約集合のラデマッハ複雑度に対するバウンドが、O(√(||C||_∞ / n̄) + √(log(nT)/n̄T)) とスケーリングされ、これが最終的なリスクバウンドを決定づける。
• 分析により、タスクが関連している場合、特に個々のタスクのサンプルサイズが小さい場合に、トレースノルム正則化が独立学習よりも優れた一般化を実現することが確認された。
• 導出されたバウンドは、タスク数 T、平均サンプルサイズ n̄、および共分散作用素のスペクトルノルムを通じたデータ分布に明示的な依存関係を反映している点でタイトである。