[論文レビュー] Learning to Learn Variational Semantic Memory

Xiantong Zhen, Yingjun Du+4 more|arXiv (Cornell University)|Oct 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 85被引用数 14

ひとこと要約

本論文は、階層ベイズフレームワーク内で過去のタスクから確率的意味的知識を蓄積・抽出できる、長期的外部記憶モジュールである変分的意味的記憶（VSM）を提案する。記憶の再取得を潜在的記憶変数上の変分推論として定式化することにより、VSMは、タスクに適応した原理的で柔軟な意味的プロトタイプの再取得を可能にし、プロトタイプを決定的ベクトルではなく確率分布としてモデル化することにより、4つの少サンプル学習ベンチマークで最先端の性能を達成した。

ABSTRACT

In this paper, we introduce variational semantic memory into meta-learning to acquire long-term knowledge for few-shot learning. The variational semantic memory accrues and stores semantic information for the probabilistic inference of class prototypes in a hierarchical Bayesian framework. The semantic memory is grown from scratch and gradually consolidated by absorbing information from tasks it experiences. By doing so, it is able to accumulate long-term, general knowledge that enables it to learn new concepts of objects. We formulate memory recall as the variational inference of a latent memory variable from addressed contents, which offers a principled way to adapt the knowledge to individual tasks. Our variational semantic memory, as a new long-term memory module, confers principled recall and update mechanisms that enable semantic information to be efficiently accrued and adapted for few-shot learning. Experiments demonstrate that the probabilistic modelling of prototypes achieves a more informative representation of object classes compared to deterministic vectors. The consistent new state-of-the-art performance on four benchmarks shows the benefit of variational semantic memory in boosting few-shot recognition.

研究の動機と目的

• 少サンプルメタラーニングにおける短期記憶の限界を解消するため、過去のタスクから一般化された意味的知識を蓄積する長期記憶モジュールを導入すること。
• クラスプロトタイプを決定的ベクトルではなく確率分布としてモデル化することで、より情報量の多い表現を実現し、少サンプル認識の性能を向上させること。
• 階層ベイズフレームワークにおける変分推論を通じて、記憶の再取得と更新の原理的メカニズムを提供すること。
• 統合された記憶から文脈的に関連する意味的情報を効率的かつ適応的に抽出することで、新しいタスクへの知識の効果的かつ柔軟な転送を可能にすること。
• 長期的意味的記憶が多様なベンチマークにおいて少サンプル学習の性能を向上させることを実証すること。

提案手法

• 本手法は、複数のタスクにおけるサポートセットの特徴表現から学習された、確率的埋め込みとしての物体カテゴリの意味的要約を格納する変分的意味的記憶（VSM）モジュールを導入する。
• 記憶の再取得は、潜在的記憶変数に対する変分推論として定式化され、モデルが各タスクの入力に適した関連する意味的情報を再取得できるようにする。
• 推論中に、クエリの内容に基づいて動的に関連するメモリエントリに注目するためのアテンションメカニズムを採用し、クエリに応じた適応的再取得を実現する。
• システム全体は階層的変分推論を介してエンドツーエンドで訓練され、ベイズフレームワーク内で記憶再取得、プロトタイプ推論、モデルパラメータを同時に最適化する。
• 記憶は時間経過とともに段階的に更新・統合され、災難的忘却を回避しながら長期的知識の蓄積を可能にする。
• プロトタイプは固定ベクトルではなく、確率分布（例：ガウス分布）としてモデル化されることで、低ショット環境下での表現能力と耐性が向上する。

実験結果

リサーチクエスチョン

• RQ1 過去のタスクから意味的知識を蓄積する長期記憶モジュールが、少サンプル学習の性能を向上させることができるか？
• RQ2 メタラーニング設定において、記憶の再取得を個々のタスクに適応させつつ、原理的に行えるか？
• RQ3 クラスプロトタイプを確率的分布としてモデル化することで、決定的ベクトルよりも一般化性能が向上するか？
• RQ4 潜在的記憶変数上の変分推論が、関連する意味的情報の効果的かつ効率的な再取得を可能にするか？
• RQ5 従来の短期記憶メカニズムと比較して、提案された変分的意味的記憶は一般化性能とスケーラビリティの面で優れているか？

主な発見

• 提案された変分的意味的記憶（VSM）は、すべての4つのベンチマークデータセット（miniImageNet、tieredImageNet、CIFAR-FS、FC100）で最先端の性能を達成した。
• miniImageNet（5-way 1-shot）では65.72%の正確度を達成し、以前の最先端手法（Tian et al. [70]）を深層特徴抽出器を用いて0.90%上回った。
• tieredImageNet（5-way 1-shot）では72.01%の正確度を達成し、2番目に優れた手法（Tian et al. [70]）を0.49%上回った。
• CIFAR-FS（5-way 1-shot）では63.42%の正確度を達成し、2番目に優れた手法（R2D2）を1.12%上回った。
• VSMにおける確率的プロトタイプの使用は、決定的ベクトルと比較して、より情報量が多く、耐性のあるクラス表現をもたらした。
• アブレーションスタディの結果、階層的変分推論機構とメモリ統合プロセスが、モデルの性能向上に不可欠であることが確認された。