[論文レビュー] On the Theory of Transfer Learning: The Importance of Task Diversity

Nilesh Tripuraneni, Michael I. Jordan+1 more|arXiv (Cornell University)|Jun 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 59

ひとこと要約

この論文は共有表現を介した転移学習の統計的保証を提供し、タスク多様性の一般概念とガウス複雑さの連鎖則を導入し、複数タスクにわたるエンドツーエンドの転移保証を導出します。

ABSTRACT

We provide new statistical guarantees for transfer learning via representation learning--when transfer is achieved by learning a feature representation shared across different tasks. This enables learning on new tasks using far less data than is required to learn them in isolation. Formally, we consider $t+1$ tasks parameterized by functions of the form $f_j \circ h$ in a general function class $\mathcal{F} \circ \mathcal{H}$, where each $f_j$ is a task-specific function in $\mathcal{F}$ and $h$ is the shared representation in $\mathcal{H}$. Letting $C(\cdot)$ denote the complexity measure of the function class, we show that for diverse training tasks (1) the sample complexity needed to learn the shared representation across the first $t$ training tasks scales as $C(\mathcal{H}) + t C(\mathcal{F})$, despite no explicit access to a signal from the feature representation and (2) with an accurate estimate of the representation, the sample complexity needed to learn a new task scales only with $C(\mathcal{F})$. Our results depend upon a new general notion of task diversity--applicable to models with general tasks, features, and losses--as well as a novel chain rule for Gaussian complexities. Finally, we exhibit the utility of our general framework in several models of importance in the literature.

研究の動機と目的

• 複数のタスクが共通の表現を共有する場合に転移学習を動機づけ、より少ないデータで新しいタスクを学習できるようにする。
• t個のタスクから共有表現を学習し新しいタスクへ転移する2段階のERMフレームワークを開発する。
• 問題に依存しないタスク多様性の概念とガウス複雑さの連鎖則を導入して一般化境界を導出する。
• エンドツーエンドの転移学習保証を提供し、複数のモデル（ロジスティック回帰、ニューラルネットワーク、ロバスト回帰）で例示する。

提案手法

• タスクを f_j ∘ h としてモデル化し、共有表現 h を H に、タスク特異的写像 f_j を F に配置する。
• 2段階のERM: 学習段階で nt サンプルを用いて h とタスク写像を学習し、テスト段階で learned h を用いて m サンプルで f_0 を学習する。
• 表現の類似性と転移性を定量化するために、タスク平均表現差と最悪ケース表現差を定義する。
• 一般化境界における F と H の複雑さをデカップル化するための Gaussian 複雑さの連鎖則を開発する。
• 転移性能を多様性と Gaussian 複雑さの観点で境界付けする問題非依存のタスク多様性の定義を導入する。
• エンドツーエンドの転移学習境界（定理3）を導出し、転移リスクが問題の次元とタスク多様性にどのようにスケールするかを示す。

実験結果

リサーチクエスチョン

• RQ1 訓練タスク全体で共有表現を学ぶのに必要なサンプル数はどれくらいか。
• RQ2 新しいタスクで表現を転移することはサンプル効率にどう影響するか。
• RQ3 未知タスクへの迅速な転移を可能にするタスク多様性の役割は何か。
• RQ4 線形/二次設定を超えるより広いモデルにも一般化保証を拡張できるか。
• RQ5 Gaussian 複雑さを用いてタスク特異的写像の複雑さを共有表現からデカップルするにはどうするか。

主な発見

• 新しいタスクの過剰リスクは nt で割った C(H) と tC(F) の項と、m に依存する C(F) の項を含む項でスケールする。
• 新しいタスク多様性の概念 (ν, ε) は転移境界を制御し、多様な訓練タスクの下でより速い収束をもたらす可能性がある。
• Gaussian 複雑さの新規連鎖則は境界を H の学習寄与と F の学習寄与に分解する。
• エンドツーエンドの転移学習保証は、n と t が大きく m が小さい場合、単独で新しいタスクを学習するよりも改善した評価を示す。
• 応用例としてマルチタスクロジスティック回帰、マルチタスク深層ニューラルネット回帰、およびシングルインデックスモデルのロバスト回帰が挙げられる。
• 好適な設定では、転移学習は表現次元数 r が外部次元 d よりも小さい場合には r にスケールする速度優位性を達成する（r << d のとき）。