[論文レビュー] On the Value of Target Data in Transfer Learning

Steve Hanneke, Samory Kpotufe|arXiv (Cornell University)|Feb 12, 2020

Domain Adaptation and Few-Shot Learning被引用数 16

ひとこと要約

本稿は、源語データセットと標的データセットの両方のサンプルサイズに応じて、転移学習のミニマックスレートを確立し、ラベル付きおよびラベルなしの標的データの価値を測るための新しい乖離尺度（転送指数：$\rho$ と $\gamma$）を導入する。最適な性能は、源語または標的データセットのうち情報量が少ない方を無視することで達成でき、分布母数や $\gamma$ の推定を必要とせず、近似的にミニマックス性能を達成するデータ駆動型手法を提案する。これにより、コスト最小化のサンプリング意思決定が可能になる。

ABSTRACT

We aim to understand the value of additional labeled or unlabeled target data in transfer learning, for any given amount of source data; this is motivated by practical questions around minimizing sampling costs, whereby, target data is usually harder or costlier to acquire than source data, but can yield better accuracy. To this aim, we establish the first minimax-rates in terms of both source and target sample sizes, and show that performance limits are captured by new notions of discrepancy between source and target, which we refer to as transfer exponents.

研究の動機と目的

• ラベル付きおよびラベルなしの標的データの価値を、特にサンプリングコスト制約下で理解すること。
• 源語データ数（$n_P$）と標的データ数（$n_Q$）に依存する転移学習のミニマックスレートを確立すること。
• 分布母数や乖離尺度の知識を必要とせず、サンプリングコスト最小化や源語選択などの実用的戦略を立案すること。
• 転送指数が既知であれば、単一の分類器が片方のデータセットを無視することで最適な性能を達成できることを示すこと。

提案手法

• 過剰リスク転送指数 $\rho$ およびマージナル転送指数 $\gamma$ の2つの新しい乖離尺度を導入し、これらは源語と標的の分布の差を測定する。
• $n_P$, $n_Q$, および転送指数 $\rho$, $\gamma$ を用いて、一般の有界VCクラスにおけるミニマックスレートを導出する。
• $\rho$ や $\gamma$ の知識を必要とせず、低源語誤差を満たす制約下で標的誤差を最適化する仮説転送手法を提案する。
• ラベルなしの標的データ（$U_Q$）を用いて再重み付けスキームを推定し、低サンプリング複雑性で近似的に最適な性能を達成可能にする。
• 頑健性条件（RCS）およびベルンシュタインクラスの仮定を用いて、過剰リスクをバインドし、最小限の仮定下での収束を保証する。
• ラベルなしデータとラベル付き源語データのみを用いて、過剰リスクの上界を最小化するデータ駆動型選択ルールを採用する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き源語データと標的データが両方利用可能な場合、転移学習の収束の最適レートは何か？
• RQ2 源語と標的データを組み合わせた分類器の性能は、片方のデータセットのみを使用する場合と比べてどう異なるか？
• RQ3 サンプリングコスト最小化や源語選択といった実用的判断は、分布母数や乖離尺度の推定を必要とせずに行えるか？
• RQ4 ラベルなしの標的サンプルは、転移学習におけるミニマックス最適性能達成にどのような役割を果たすか？

主な発見

• 過剰リスクのミニマックス最適レートは、定数の違いを除き、両方のデータセットが利用可能であっても、情報量が多い方の源語または標的データセットのみを使用することで達成される。
• $n_P$ と $n_Q$ に依存する最適レートは、源語と標的の過剰リスクの乖離を測る転送指数 $\rho$ によって記述される。
• 過剰リスクの上界を最小化するデータ駆動型手順により、$\rho$ や $\gamma$ の推定を必要とせずミニマックスレートを達成可能であり、実用的導入が可能になる。
• 入力周辺分布 $P_X$ と $Q_X$ に基づくマージナル転送指数 $\gamma$ により、ラベルなしデータやコスト最小化を含む状況での最適意思決定が可能になる。
• サイズ $|U_Q| \geq n_P^{\frac{\beta_f}{(2 - \beta_f)\gamma_f}}$ のラベルなし標的データがあれば、ミニマックスレートを達成可能であり、低サンプリング複雑性を実現する。
• ラベルノイズや分布シフトが未知であっても、$\gamma$ の推定を必要とせず、本手法は依然として有効である。