[論文レビュー] Theoretical Guarantees of Transfer Learning

Zirui Wang|arXiv (Cornell University)|Oct 14, 2018

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 11

ひとこと要約

本論文は、VC理論、ラデマッハ複雑度、アルゴリズム的安定性の3つの主要な枠組みを用いて、転移学習の包括的な理論的分析を提供する。濃縮要因μを導入することで、ラベル付きデータサイズへの依存性を改善し、先行研究よりもより情報的で実用的な一般化境界を、マルチソース転移学習に対してよりタイトに導出する。

ABSTRACT

Transfer learning has been proven effective when within-target labeled data is scarce. A lot of works have developed successful algorithms and empirically observed positive transfer effect that improves target generalization error using source knowledge. However, theoretical analysis of transfer learning is more challenging due to the nature of the problem and thus is less studied. In this report, we do a survey of theoretical works in transfer learning and summarize key theoretical guarantees that prove the effectiveness of transfer learning. The theoretical bounds are derived using model complexity and learning algorithm stability. As we should see, these works exhibit a trade-off between tight bounds and restrictive assumptions. Moreover, we also prove a new generalization bound for the multi-source transfer learning problem using the VC-theory, which is more informative than the one proved in previous work.

研究の動機と目的

• モデルの複雑さとアルゴリズムの安定性に焦点を当て、転移学習における理論的保証の体系的サーベイを提供すること。
• ソースドメインとターゲットドメインの間の分布シフトのため、転移学習における一般化境界の分析が困難であるという課題に対処すること。
• VC理論を用いて、既存の境界を改善する、新しいよりタイトな一般化境界をマルチソース転移学習に対して導出すること。
• 異なる理論的アプローチにおける境界のタイトさと仮定の制限の程度のトレードオフを比較すること。
• 仮説転移学習設定における負の転移と収束速度の意味を検討すること。

提案手法

• VC理論を適用し、マルチソース転移学習の一般化境界を導出し、信頼性と近接性をバランスさせるために濃縮要因μを導入する。
• ラデマッハ複雑度を用いてドメイン適応設定を分析し、分布の乖離とリスク項に依存する境界を導出する。
• アルゴリズム的安定性を用いて、生データではなくソースの仮説のみが利用可能な仮説転移学習を分析する。
• 信頼性と類似性に基づいて寄与を調整するため、パラメータαiとμを用いたソースリスクの重み付き組み合わせを導入する。
• 個々のソースのデータサイズを合計ラベル付きデータサイズmに置き換える境界を導出し、各ソースのデータ依存性を低減し、境界をタイトにする。
• 実験的リスクと分布乖離測度（例：dH△H）を用いて、ソースとターゲットドメイン間の不一致を定量化する。

実験結果

リサーチクエスチョン

• RQ1 モデルの複雑さとアルゴリズムの安定性を用いて、転移学習における一般化境界を理論的に正当化する方法は何か？
• RQ2 既存の理論的枠組みにおいて、境界のタイトさと仮定の制限の程度のトレードオフは何か？
• RQ3 信頼性と近接性に基づいてソースの寄与を再重み付けすることで、マルチソース転移学習におけるよりタイトな一般化境界を導出可能か？
• RQ4 濃縮要因μの導入が、マルチソース転移学習におけるラベル付きデータサイズへの依存性をどのように改善するか？
• RQ5 仮説転移学習における安定性に基づくアプローチは、分布仮定の必要性をどれほど回避できるか？

主な発見

• 定理7で提示された境界は、個々のソースデータサイズを合計ラベル付きデータサイズmに置き換えることで、マルチソース転移学習におけるよりタイトな一般化境界を実現する。
• 濃縮要因μにより、モデルは近接性と信頼性に基づいてソースを重み付けでき、一般化境界のロバスト性が向上する。
• 定理1（VC理論）と比較して、定理5（ラデマッハ複雑度）は誤差項が少なく、より実用的な境界を提供し、空虚な境界のリスクを低減する。
• 定理6の安定性に基づく境界は、分布仮定に依存しにくく、しかし仮説レベルの安定性に焦点を当てているため、転移学習への直接的適用性が低い。
• 分析から、仮説転移学習では、学習アルゴリズムの安定性のおかげで、負の転移が本質的に緩和されることが示唆される。
• 理論的境界は、成功した転移学習が、小さな分布乖離と、理想の仮説の低期待リスクの両方を必要とするということを示唆している。