[論文レビュー] Learning Bound for Parameter Transfer Learning

Wataru Kumagai|arXiv (Cornell University)|Oct 27, 2016

Sparse and Compressive Sensing Techniques被引用数 7

ひとこと要約

本稿は、局所安定性およびパラメトリック特徴マッピングのパラメータ転送可能性を導入することで、パラメータ転送学習の最初の理論的一般化境界を確立した。一般化境界を導出し、自己教師付き学習におけるスパースコーディングに適用することで、十分な無教師データと辞書の非一貫性がある場合、スパarsity仮定の下でスパースコーディングが有界な一般化誤差を達成することを証明した。

ABSTRACT

We consider a transfer-learning problem by using the parameter transfer approach, where a suitable parameter of feature mapping is learned through one task and applied to another objective task. Then, we introduce the notion of the local stability and parameter transfer learnability of parametric feature mapping,and thereby derive a learning bound for parameter transfer algorithms. As an application of parameter transfer learning, we discuss the performance of sparse coding in self-taught learning. Although self-taught learning algorithms with plentiful unlabeled data often show excellent empirical performance, their theoretical analysis has not been studied. In this paper, we also provide the first theoretical learning bound for self-taught learning.

研究の動機と目的

• 無教師データを用いた自己教師付き学習におけるパラメータ転送学習の理論的分析の欠如に対処すること。
• パラメトリック特徴マッピングの局所安定性およびパラメータ転送可能性の概念を形式化すること。
• これらの新しい理論的概念に基づいて、パラメータ転送アルゴリズムの一般化境界を導出すること。
• 特に自己教師付き学習設定において、辞書学習下でのスパースコーディングの安定性および一般化を分析すること。
• パラメータ転送アプローチを用いた自己教師付き学習における、最初の理論的学習境界を提供すること。

提案手法

• 入力の摂動に対する感度を定量化するために、パラメトリック特徴マッピングの局所安定性の概念を導入する。
• 学習済みパラメータが複数のタスクにわたってどれほどうまく一般化されるかを測る指標として、パラメータ転送可能性を定義する。
• 安定性と可能性の概念を用いて、パラメータ転送学習の一般化境界を導出する。
• 辞書の $\mu$-非一貫性特性を用いて、辞書の摂動下でのスパースコーディングの安定性を分析する。
• 表現のスパarsityを仮定し、$k$、$\lambda$、$\mu$、$d$ に依存する境界を導出することで、一般境界をスパースコーディングに適用する。
• 集中不等式およびサブガウス型尾部バウンドを用いて、ノイズ下でのスパースコーディング回復の誤差を制御する。

実験結果

リサーチクエスチョン

• RQ1 無教師のソースデータからラベル付きターゲットタスクに知識を転送する際、パラメータ転送学習に対してどのような理論的保証を確立できるか？
• RQ2 パラメトリック特徴マッピングの安定性が、転移学習における一般化性能にどのように影響するか？
• RQ3 スパarsityおよび辞書の非一貫性仮定の下で、自己教師付き学習におけるスパースコーディングの学習境界を導出できるか？
• RQ4 自己教師付き学習における有界な一般化誤差を保証するために必要な無教師サンプルの数はどの程度か？
• RQ5 学習済み辞書の非一貫性が、転移学習におけるスパースコーディングの安定性および一般化にどのように影響するか？

主な発見

• 局所安定性およびパラメータ転送可能性に基づいて、パラメータ転送学習の一般化境界が導出され、知識転送の理論的裏付けが得られた。
• 境界は、パラメータ転送可能性和特徴マッピングの安定性によって一般化誤差が制御されることを示している。
• スパースコーディングの場合、高確率で $\|\Delta\|_2 \leq \frac{3\lambda\sqrt{k}}{1 - \mu k / \sqrt{d}}$ が成り立つ。
• この境界はスパarsityレベル $k$、正則化パラメータ $\lambda$、および辞書の非一貫性 $\mu$ に依存し、$d \geq \left(1 + \frac{6}{1-t}\right)^2 \mu^2 k^2$ を満たすことでタイトさが保証される。
• 高確率 $1 - \delta_{t,\lambda}$ において、スパースコーディング回復は $\mathcal{M}_{k,\mathbf{D}^*}(\mathbf{x}) \geq t\lambda$ を満たし、正しくサポートの回復が保証される。
• 本研究は、パラメータ転送を用いた自己教師付き学習における、最初の理論的学習境界を提供し、非教師付き転移学習分野における今後の分析の基盤を確立した。