[論文レビュー] Provable Meta-Learning of Linear Representations

Nilesh Tripuraneni, Chi Jin+1 more|arXiv (Cornell University)|Feb 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 52

ひとこと要約

この論文は、線形モデルの複数タスクに跨る共通の線形特徴表現のメタ学習を研究し、証明可能な回復保証と新しいタスクへの転送、及び情報理論的下界を提供する。

ABSTRACT

Meta-learning, or learning-to-learn, seeks to design algorithms that can utilize previous experience to rapidly learn new skills or adapt to new environments. Representation learning -- a key tool for performing meta-learning -- learns a data representation that can transfer knowledge across multiple tasks, which is essential in regimes where data is scarce. Despite a recent surge of interest in the practice of meta-learning, the theoretical underpinnings of meta-learning algorithms are lacking, especially in the context of learning transferable representations. In this paper, we focus on the problem of multi-task linear regression -- in which multiple linear regression models share a common, low-dimensional linear representation. Here, we provide provably fast, sample-efficient algorithms to address the dual challenges of (1) learning a common set of features from multiple, related tasks, and (2) transferring this knowledge to new, unseen tasks. Both are central to the general problem of meta-learning. Finally, we complement these results by providing information-theoretic lower bounds on the sample complexity of learning these linear features.

研究の動機と目的

• 複数の関連する線形回帰タスクから共通の低次元特徴空間を回復できる場合を特定することにより、学習を学ぶことを動機づける。
• 共有表現を効率良く学習するアルゴリズムを開発し、それらがサンプル効率的であることを証明する。
• 学習した表現が未見のタスクでのサンプル効率をどのように改善するかを定量化する。
• マルチタスク設定における特徴回復の根本的限界を caracterize する情報理論的下界を提供する。

提案手法

• データを未知の r 次元線形表現 B を列が直交する形で共有する t タスクとしてモデリングする。
• メタ学習の2段階フレームワークを定式化する：メタトレーニングで B を学習し、メタテストで B 固定のまま新しいタスクへ転送する。
• Burer-Monteiro 分解と正則化経験的リスクを用いて、すべての局所極小点が B への良い近似を与えることを示す。
• 矩陣 (1/n1) sum y_i^2 x_i x_i^T の上位 r 主成分を用いて B を回復するモーメント法推定量を提供する。
• 学習済みの B を新しいタスクの最小二乗推定量へ入れて転送学習手順を分析する。
• マルチタスク線形モデルの下での特徴回復に対する情報理論的下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 複数の関連線形回帰タスクから共通の低次元特徴表現を効率的に学習できるか。
• RQ2 学習した表現は同一の線形特徴空間内の新しい見えないタスクへどの程度転送できるか。
• RQ3 共有特徴の学習および新しいタスクへの転送のサンプル複雑性はどの程度で、転送なしの学習と比較してどうなるか。
• RQ4 タスクの多様性と共変量設計の条件の下で、一次以上の手法が表現を効率的に回復できるのはいつか。
• RQ5 このマルチタスク設定における線形特徴部分空間回復の根本的な限界（下界）は何か。

主な発見

• 正則化経験的リスクの局所最小解は、真の線形表現を小さな統計的誤差まで回復する。
• y^2 x x^T モーメント行列の上位 r 力量子を用いたモーメント法推定量は、B を誤差 O~(sqrt((tilde{kappa}/tilde{nu}) * dr / n1)) で回復する。
• 学習済み特徴を新しいタスクへ転送すると、特徴推定を用いた場合の予測誤差の過剰分は O~(dr^2/n1 + r/n2) となる。
• 転送が有効になるのは、n1/n2 が r および表現の複雑さ r に対して十分大きい場合で、d と比較して小さい場合である。
• 本論文は情報理論的下界を示し、特徴回復に不可避な誤差が生じることを示し、提案推定量が前提の下でほぼ最適であることを浮き彫りにしている。