[論文レビュー] Task-similarity Aware Meta-learning through Nonparametric Kernel Regression

Arun Venkitaraman, Anders Hansson+1 more|arXiv (Cornell University)|Jun 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 7

ひとこと要約

本稿では、再現性のあるヒルベルト空間（RKHS）における非パラメトリックカーネル回帰を用いて、タスクの類似性を明示的にモデル化する、新しいメタラーニングフレームワークであるTask-similarity Aware Nonparametric Meta-Learning（TANML）を提案する。タスク記述子を学習し、カーネル関数を用いて類似度を測定することで、TANMLは少サンプル回帰タスクにおいてMAMLやMeta-SGDを上回る性能を発揮し、特にタスク数が限られたり、外れ値を含むタスク集合においても、明示的なタスク類似性認識がメタラーニングのロバストネスを向上させることを示している。

ABSTRACT

This paper investigates the use of nonparametric kernel-regression to obtain a tasksimilarity aware meta-learning algorithm. Our hypothesis is that the use of tasksimilarity helps meta-learning when the available tasks are limited and may contain outlier/ dissimilar tasks. While existing meta-learning approaches implicitly assume the tasks as being similar, it is generally unclear how this task-similarity could be quantified and used in the learning. As a result, most popular metalearning approaches do not actively use the similarity/dissimilarity between the tasks, but rely on availability of huge number of tasks for their working. Our contribution is a novel framework for meta-learning that explicitly uses task-similarity in the form of kernels and an associated meta-learning algorithm. We model the task-specific parameters to belong to a reproducing kernel Hilbert space where the kernel function captures the similarity across tasks. The proposed algorithm iteratively learns a meta-parameter which is used to assign a task-specific descriptor for every task. The task descriptors are then used to quantify the task-similarity through the kernel function. We show how our approach conceptually generalizes the popular meta-learning approaches of model-agnostic meta-learning (MAML) and Meta-stochastic gradient descent (Meta-SGD) approaches. Numerical experiments with regression tasks show that our algorithm outperforms these approaches when the number of tasks is limited, even in the presence of outlier or dissimilar tasks. This supports our hypothesis that task-similarity helps improve the metalearning performance in task-limited and adverse settings.

研究の動機と目的

• タスク数が限られたり、タスクが類似していない状況下で、明示的なタスク類似性のモデル化がメタラーニング性能を向上させるかどうかを調査すること。
• 既存のメタラーニング手法が類似性を暗黙的に仮定しているものの、その類似性を定量的に測定していないという限界を是正すること。
• タスク類似性をカーネルベースの非パラメトリック回帰を用いてメタラーニングに統合する汎用的なフレームワークを構築すること。
• 訓練タスク数が少ない、または外れ値を含む場合に、タスク類似性認識がロバストネスと性能を向上させるかどうかを実証すること。
• 代表的なメタラーニングアルゴリズム（MAML、Meta-SGD）と再現性のあるヒルベルト空間におけるカーネル回帰の間の概念的リンクを確立すること。

提案手法

• タスク固有のパラメータを、カーネル関数がタスク類似性を符号化する再現性のあるヒルベルト空間（RKHS）の要素としてモデル化する。
• 各タスクにタスク記述子ベクトルを割り当て、カーネル関数を用いて類似度を計算することで、タスク上での非パラメトリック回帰を可能にする。
• アルゴリズムはメタパラメータを反復的に学習し、訓練タスクとの類似度に基づいて新しいタスクにメタラーナーを適応させるカーネル回帰を用いる。
• 各ニューラルネットワーク層に対して個別の適応関数を用いて、層ごとにタスク固有のパラメータを更新することで、高次元パラメータの支配を防ぐ。
• ガウスカーネル関数とコサインカーネル関数の両方をサポートしており、後者の方がハイパーパrameterが存在しないため、性能が優れている。
• MAMLとMeta-SGDを、RKHSにおける線形／カーネル回帰の観点から一般化することで、明示的な類似性認識による適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 利用可能なタスク数が限られている状況で、タスク類似性の明示的モデル化がメタラーニング性能を向上させるか。
• RQ2 カーネル関数によるタスク類似性の定量的評価が、外れ値や類似性の低いタスクを含む状況下でのメタラーニングのロバストネスにどのように影響するか。
• RQ3 MAMLおよびMeta-SGDのメタラーニングフレームワークが、カーネルベースの非パラメトリック回帰フレームワークの下で概念的に統合可能か。
• RQ4 カーネル関数の選択（例：ガウスカーネル対コサインカーネル）が、タスク類似性認識メタラーニングアルゴリズムの性能に影響を与えるか。
• RQ5 RKHSにおける非パラメトリックカーネル回帰アプローチが、暗黙の類似性仮定よりも、よりロバストで汎用性の高いメタラーニングフレームワークを提供できるか。

主な発見

• TANMLは、10–20%の外れ値タスクを含む実験において、MAMLやMeta-SGDを著しく上回り、正規化平均二乗誤差（NMSE）が最大50%低くなる。
• 実験2a（振幅変動）では、コサインカーネルを用いたTANMLがT_tr = 256でNMSE 0.37を達成したのに対し、MAMLは0.83、Meta-SGDは0.92であった。
• 実験2b（周波数変動）では、コサインカーネルを用いたTANMLがT_tr = 256でNMSE 0.30を達成したのに対し、MAMLは0.89、Meta-SGDは1.50であった。
• TANMLの性能はタスク数の増加に伴い向上し、実験2aではT_tr = 256のNMSE 0.37からT_tr = 512の0.26に低下した。これはスケーラビリティを示している。
• コサインカーネルがガウスカーネルを上回ったのは、分散ハイパーパrameterが存在しないため、パrameter選択への感受性が低くなったためと推定される。
• フレームワークは、MAMLとMeta-SGDをカーネルベースのRKHS定式化に組み込むことで成功裏に一般化し、明示的なタスク類似性認識を可能にした。