[論文レビュー] Transductive Decoupled Variational Inference for Few-Shot Classification

Anuj Singh, Hadi Jamali‐Rad|arXiv (Cornell University)|Aug 22, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

TRIDENT は、画像表現を意味的およびラベル固有の潜在変数に分離する、少数ショット分類のための非逐次的で分離型の変分推論フレームワークを提案する。アテンションベースの非逐次的特徴抽出モジュール（AttFEX）を用いてタスクに適した特徴を強化する。miniImageNet、tieredImageNet、および挑戦的なドメイン間設定（miniImageNet→CUB）において、それぞれ最大5%および20%の精度向上を達成し、最先端の性能を発揮する。

ABSTRACT

The versatility to learn from a handful of samples is the hallmark of human intelligence. Few-shot learning is an endeavour to transcend this capability down to machines. Inspired by the promise and power of probabilistic deep learning, we propose a novel variational inference network for few-shot classification (coined as TRIDENT) to decouple the representation of an image into semantic and label latent variables, and simultaneously infer them in an intertwined fashion. To induce task-awareness, as part of the inference mechanics of TRIDENT, we exploit information across both query and support images of a few-shot task using a novel built-in attention-based transductive feature extraction module (we call AttFEX). Our extensive experimental results corroborate the efficacy of TRIDENT and demonstrate that, using the simplest of backbones, it sets a new state-of-the-art in the most commonly adopted datasets miniImageNet and tieredImageNet (offering up to 4% and 5% improvements, respectively), as well as for the recent challenging cross-domain miniImagenet --> CUB scenario offering a significant margin (up to 20% improvement) beyond the best existing cross-domain baselines. Code and experimentation can be found in our GitHub repository: https://github.com/anujinho/trident

研究の動機と目的

• 低データ環境下における従来の少数ショット学習手法の限界、特にサンプルバイアスと未観測クラスへの一般化性能の低さを解消すること。
• 分類の堅牢性を向上させるとともに不要な文脈的情報を分離するために、画像表現を意味的およびラベル固有の潜在変数に分離すること。
• 新しいアテンションベースの非逐次的特徴抽出機構を用いて、推論中にサポート画像とクエリ画像の両方の情報を活用することでタスクに適した感度を高めること。
• モデルパラメータとクラスプロトタイプの分布を点推定に依存せず、分布を推定することによって少数ショット設定における一般化性能を向上させること。
• 標準的な少数ショットベンチマークおよび困難なドメインシフトを伴う少数ショットシナリオにおいて、優れた性能を示すこと

提案手法

• 画像から意味的（z_s）およびラベル（z_l）潜在変数を同時に推論する、2つの相互に絡み合うサブネットワークを備えた変分推論ネットワークを提案する。
• アテンションベースの非逐次的特徴抽出モジュール（AttFEX）を導入し、サポート画像とクエリ画像の両方の特徴を統合してタスクに適した表現を生成する。
• MAML風の適応を用いたメタラーニングフレームワークを採用し、タスク固有のサポートセットに基づいて潜在変数推論ネットワークを更新する。
• 事後分布推論を2つの別々の変分近似に分離する：意味的コンテンツ（z_s）のためのものと、判別的ラベル特徴（z_l）のためのもの。
• AttFEXで微分可能アテンション機構を適用し、少数ショットタスク内のすべての画像にわたる特徴を動的に重み付けすることで、画像間比較とアライメントを可能にする。
• タスク固有の適応と正確な事後分布近似を促進するため、変分下界（ELBO）を最適化する

実験結果

リサーチクエスチョン

• RQ1 意味的およびラベル固有の潜在変数に画像表現を分離することで、少数ショット分類性能が向上するか？
• RQ2 サポート画像とクエリ画像の両方の非逐次的情報をアテンション機構を介して統合することで、タスクに適した感度と分類精度が向上するか？
• RQ3 潜在変数の分布を推定する変分推論フレームワークは、点推定ベースラインを上回る性能を発揮するか？
• RQ4 本手法は、miniImageNetからCUBへのドメインシフトのような状況において、どのように一般化するか？
• RQ5 少数ショット分類の性能を最大化するために、最適な潜在空間および特徴マップ次元は何か？

主な発見

• TRIDENT は、5クラス1ショットの miniImageNet ベンチマークで 86.11% の新しい最先端精度を達成し、以前の最先端手法を最大5%上回った。
• tieredImageNet では、既存のベースライン比で5%の向上を達成し、標準的な少数ショットベンチマークにおける優れた一般化性能を示した。
• 挑戦的なドメイン間設定（miniImageNet → CUB）では、最高の既存ベースライン比で20%の相対的向上を達成し、ドメインシフトに対する強靭性を示した。
• アブレーションスタディの結果、z_l と z_s の最適な潜在次元はそれぞれ (64, 64) であり、この値を超えると性能が低下した。
• AttFEX は、クエリ特徴マップ次元（W_M）がサポートマップ次元（W_N）を上回る場合に顕著に性能を向上させ、(64, 32) が最良の結果をもたらした。
• UMAP および Davies-Bouldin スコアを用いた定性的分析により、メタ適応後、ラベル潜在空間（z_l）が意味的空間（z_s）よりも著しく優れたクラス分離性とクラスタリングを示した。