[論文レビュー] Learning to Learn Kernels with Variational Random Features

Xiantong Zhen, Haoliang Sun+5 more|UvA-DARE (University of Amsterdam)|Jun 11, 2020

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

本稿では、少数のサンプルからの学習においてカーネル法に適応するランダムフーリエ特徴量を変分推論を用いて学習するメタラーニングフレームワーク、MetaVRFを提案する。ランダム特徴量のスペクトル分布を潜在変数としてモデル化し、LSTMに基づく推論ネットワークを用いてタスク間の共有知識を抽出することで、MetaVRFは低スケーリングレートでも高い性能を示すカーネルを実現し、新しいタスクへの高速適応を可能にする。

ABSTRACT

In this work, we introduce kernels with random Fourier features in the meta-learning framework to leverage their strong few-shot learning ability. We propose meta variational random features (MetaVRF) to learn adaptive kernels for the base-learner, which is developed in a latent variable model by treating the random feature basis as the latent variable. We formulate the optimization of MetaVRF as a variational inference problem by deriving an evidence lower bound under the meta-learning framework. To incorporate shared knowledge from related tasks, we propose a context inference of the posterior, which is established by an LSTM architecture. The LSTM-based inference network can effectively integrate the context information of previous tasks with task-specific information, generating informative and adaptive features. The learned MetaVRF can produce kernels of high representational power with a relatively low spectral sampling rate and also enables fast adaptation to new tasks. Experimental results on a variety of few-shot regression and classification tasks demonstrate that MetaVRF delivers much better, or at least competitive, performance compared to existing meta-learning alternatives.

研究の動機と目的

• データ不足によるカーネル品質の制限を受ける少数のサンプルからの学習において、情報量が多く判別力のあるカーネルを学習する課題に対処すること。
• ランダムフーリエ特徴量の基底を潜在変数として扱うことで、カーネル学習とメタラーニングを統合すること。
• 関連するタスクからの共有知識を構造的な推論機構を用いて活用することで、新しいタスクへの迅速な適応を可能にすること。
• 効果的なカーネル近似を実現するにあたり、スペクトルスケーリングレートを低く抑えると同時に高い表現力維持を実現すること。
• 多様な少数のサンプルからの学習設定、特に訓練とテスト条件の不一致（例：ウェイ数やショット数の違い）に一般化可能な柔軟でエンドツーエンドのフレームワークを開発すること。

提案手法

• メタラーニングにおけるカーネル学習を、ランダムフーリエ特徴量の基底を潜在変数として扱う変分推論問題として定式化する。
• メタラーニングに適した新たな下界（ELBO）を導出することで、ランダム特徴量のスペクトル分布の原理的最適化を可能にする。
• タスク固有のサポートセット情報と過去のタスクからの文脈を統合するために、LSTMに基づく推論ネットワークを導入する。
• LSTMの隠れ状態を用いてエピソード間で共有されるメタ知識を蓄積・精錬し、長期的な依存関係のモデリングを可能にする。
• 文脈統合と特徴表現の質をさらに向上させるために、双方向LSTMの変種を採用する。
• 低スケーリングレート（D）で学習されたタスク適応型スペクトル分布により、効率的なカーネル近似を実現する。

実験結果

リサーチクエスチョン

• RQ1 変分推論は、少数のサンプルからの学習におけるメタラーニングフレームワーク内での適応的ランダムフーリエ特徴量の学習に効果的に適用可能か？
• RQ2 複数の関連するタスクからの共有知識をどのように活用することで、データが少ない状況下でのカーネル品質と一般化性能を向上させられるか？
• RQ3 LSTMベースの推論ネットワークは、過去のタスクからの文脈統合によってランダム特徴量の表現力にどの程度向上効果をもたらすか？
• RQ4 MetaVRFは、特に低スケーリングレート下でも、既存のメタラーニング手法と比較して競争力あるか、あるいは優れた性能を示すか？
• RQ5 MetaVRFは、訓練とテスト条件が不一致な多様な少数のサンプルからの学習設定（例：異なるウェイ数やショット数）に対しても効果的に一般化可能か？

主な発見

• 双方向LSTMを用いたMetaVRFは、5ウェイ1ショットのmini-ImageNetベンチマークで63.80%の精度を達成し、LEO（61.76%）やSNAIL（55.71%）といった先行手法を上回った。
• 5ウェイ5ショット設定では、MetaVRFが双方向LSTMを用いて77.97%の精度に到達し、はるかに少ない基底数でさえも通常のRFFsを上回った。
• MetaVRFは低スペクトルスケーリングレート下でも優れた性能を維持した：同じ数の基底数を用いた標準的なRFFsよりも優れており、高い効率性を示した。
• 困難なテスト条件に対しても堅牢な一般化性能を示し、20ウェイ5ショットのタスクで学習した場合に100ウェイ分類タスクで94%の精度を達成した。
• 事前学習済みのWRN-28-10埋め込みを用いたMetaVRFは、mini-ImageNetで最先端の性能を達成し、深層特徴抽出器との相性が良いことを確認した。
• アブレーションスタディの結果、LSTMベースの文脈推論が極めて重要であることが示された—LSTMを含まないMetaVRFは性能が劣り、双方向LSTMバージョンが最良の結果をもたらした。