[論文レビュー] Sparse coding for multitask and transfer learning

Andreas Maurer, Massimiliano Pontil+1 more|arXiv (Cornell University)|Sep 4, 2012

Sparse and Compressive Sensing Techniques参考文献 24被引用数 58

ひとこと要約

本稿では、多タスク学習および転移学習のためのスパース符号化フレームワークを提案する。タスク固有の予測器は、高次元または無限次元のヒルバート空間における辞書原子のスパース線形結合として表現される。豊富な多タスクデータを活用することで、一般化境界を導出し、合成データおよび実世界のデータセットにおいて、単一タスク学習および密度的表現ベースラインを上回る性能を達成する。

ABSTRACT

We investigate the use of sparse coding and dictionary learning in the context of multitask and transfer learning. The central assumption of our learning method is that the tasks parameters are well approximated by sparse linear combinations of the atoms of a dictionary on a high or infinite dimensional space. This assumption, together with the large quantity of available data in the multitask and transfer learning settings, allows a principled choice of the dictionary. We provide bounds on the generalization error of this approach, for both settings. Numerical experiments on one synthetic and two real datasets show the advantage of our method over single task learning, a previous method based on orthogonal and dense representation of the tasks and a related method learning task grouping.

研究の動機と目的

• スパース符号化と構造的辞書を用いた、多タスク学習および転移学習の統一的フレームワークの構築。
• 豊富な多タスクデータを活用し、タスク予測器のスパース表現を可能にする辞書の学習。
• 多タスク学習および転移学習の両設定において、理論的一般化境界の提供。
• スパース符号化が単一タスク学習および密度的表現ベースラインを上回ることを、実証的に示すこと。

提案手法

• 本手法は、各タスクの予測器を、$ D \in \mathcal{D}_K $ に属する辞書 $ D $ の原子のスパース線形結合としてモデル化する。ここで $ \|De_k\| \leq 1 $ であり、コードベクトル $ \gamma \in \mathcal{C}_\alpha $ に $ \ell_1 $-ノルム制約を課してスパarsityを強制する。
• 最適化目的関数は、$ T $ 個のタスクにおける平均経験的リスクを最小化する。各タスクの損失は、スパースコードと辞書を用いて計算される。
• 本フレームワークはヒルバート空間で動作し、再生核ヒルバート空間（RKHS）を用いることで非線形予測器を可能にする。
• 一般化境界は、ラデマッハ複雑度と対称化技術を用いて導出され、境界は辞書サイズ $ K $、スパarsity $ \alpha $、およびデータノルムに依存する。
• 理論的分析には、集中不等式と経験過程理論を用いた、多タスクおよび転移学習設定における過剰リスクの境界が含まれる。
• 辞書は複数のタスクから学習され、本手法は誘導的転移（学びの学び）および標準的な多タスク学習の両方に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 学習された辞書上でスパース符号化を用いることで、単一タスク学習と比較して多タスク学習における一般化性能が向上するか？
• RQ2 高次元ヒルバート空間におけるスパース表現の使用は、転移学習においてより優れた性能をもたらすか？
• RQ3 理論的一般化境界は、タスク数、辞書サイズ、およびスパarsityレベルとどのようにスケーリングされるか？
• RQ4 本手法は、密度的または直交的表現に基づく既存の手法を上回るか？
• RQ5 多タスクデータからの辞書学習が、未観測の新しいタスクの性能に与える影響は何か？

主な発見

• 本手法は、タスク間で共有されるスパース辞書のおかげで、単一タスク学習よりも一般化誤差が低くなる。
• 理論的境界は、過剰リスクが $ \mathcal{O}(\alpha K \sqrt{S_1(\mathbf{X})/T}) $ のオーダーで減少することを示し、タスク数の増加およびスパースな表現が性能向上に寄与することを示している。
• 2つの実世界データセットおよび1つの合成データセットにおける数値実験で、直交的かつ密度的なタスク表現を用いた先行手法よりも本手法が優れていることが確認された。
• 転移学習設定では、学習された辞書が同じ環境からの新しいタスクにうまく一般化され、境界と実証的結果の両方で裏付けられている。
• $ \ell_1 $-正則化スパース符号化の使用により、特徴の共有が効果的に実現され、多タスクおよび転移学習におけるサンプル効率が向上する。
• 実証的結果は、元の予測器が近似的にスパースである場合でも、本手法がロバストで効果的であることを確認しており、核心的なスパarsity仮定の妥当性を裏付けている。