[論文レビュー] Learning by Transferring from Auxiliary Hypotheses.

Ilja Kuzborskij, Francesco Orabona|arXiv (Cornell University)|Dec 4, 2014

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 3

ひとこと要約

本稿では、関連するタスクからの補助的仮説を活用して一般化を加速する、正則化されたERMを通した仮説転送学習（Hypothesis Transfer Learning）の枠組みを提案する。良いソース仮説の組み合わせがある場合、一般化誤差は標準的な$$\mathcal{O}(1/\sqrt{m})$$ではなく、高速な$$\mathcal{O}(1/m)$$のレートで収束することを確立し、ソース仮説が完璧な場合に学習が不要になるという直感を形式化する。

ABSTRACT

In this work we consider the learning setting where in addition to the training set, the learner receives a collection of auxiliary hypotheses originating from other tasks. This paradigm, known as Hypothesis Transfer Learning (HTL), has been successfully exploited in empirical works, but only recently has received a theoretical attention. Here, we try to understand when HTL facilitates accelerated generalization -- the goal of the transfer learning paradigm. Thus, we study a broad class of algorithms, a Hypothesis Transfer Learning through Regularized ERM, that can be instantiated with any non-negative smooth loss function and any strongly convex regularizer. We establish generalization and excess risk bounds, showing that if the algorithm is fed with a good source hypotheses combination, generalization happens at the fast rate $\mathcal{O}(1/m)$ instead of usual $\mathcal{O}(1/\sqrt{m})$. We also observe that if the combination is perfect, our theory formally backs up the intuition that learning is not necessary. On the other hand, if the source hypotheses combination is a misfit for the target task, we recover the usual learning rate. As a byproduct of our study, we also prove a new bound on the Rademacher complexity of the smooth loss class under weaker assumptions compared to previous works.

研究の動機と目的

• 仮説転送学習（HTL）が標準的な学習レートと比較して、どのような条件下で一般化を加速するかを理解すること。
• 滑らかな損失関数と強く凸である正則化子の下で、広範なHTLアルゴリズムの一般化誤差と過剰誤差バウンドを分析すること。
• ソース仮説が完璧な場合に学習が不要になるという直感を形式化すること。
• HTLが標準的なレートを上回る一般化を実現するための理論的条件を確立すること。

提案手法

• 本稿では、任意の非負の滑らかな損失関数と強く凸である正則化子を用いた、正則化された経験的リスク最小化（HTL-ERM）に基づく仮説転送学習のフレームワークを提案する。
• 先行研究よりも弱い仮定の下で、滑らかな損失関数クラスのラデマッハ複雑度を分析することにより、一般化誤差と過剰誤差バウンドを導出する。
• 学習アルゴリズムがこの組み合わせの上での最適化を実行するように、ターゲット仮説を補助的ソース仮説の組み合わせとしてモデル化する。
• 理論的分析により、ソース仮説の組み合わせが正確な場合、一般化誤差が$$\mathcal{O}(1/m)$$のレートで減少することが示され、これは$$\mathcal{O}(1/\sqrt{m})$$よりも顕著に速い。
• 従来の結果よりも弱い仮定の下で、滑らかな損失関数クラスに対する新しいラデマッハ複雑度バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 HTLは、標準的なERMと比較して、どのような条件下でより速い一般化レートを達成するか？
• RQ2 ソース仮説の組み合わせの品質が、一般化誤差レートにどのように影響するか？
• RQ3 理論的枠組みは、ソース仮説が完璧な場合に学習が不要になるという直感を形式化できるか？
• RQ4 滑らかな損失関数と強く凸である正則化子が、HTLにおける一般化バウンドに与える影響は何か？

主な発見

• ソース仮説の組み合わせが良い場合、一般化誤差は高速な$$\mathcal{O}(1/m)$$レートで収束し、これは標準的な$$\mathcal{O}(1/\sqrt{m})$$レートよりも顕著に速い。
• ソース仮説の組み合わせが完璧な場合、理論的に学習が不要であるという直感が正当化され、最適化なしに誤差レートがゼロに近づく。
• ソース仮説の組み合わせが悪いか適合しない場合、一般化誤差は再び標準的な$$\mathcal{O}(1/\sqrt{m})$$レートに戻る。
• 本稿では、先行研究よりも弱い仮定の下で、滑らかな損失関数クラスに対する新しいラデマッハ複雑度バウンドを確立し、HTLの理論的基盤を強化する。