[論文レビュー] Extended Few-Shot Learning: Exploiting Existing Resources for Novel Tasks

Reza Esfandiarpoor, Amy Pu+2 more|arXiv (Cornell University)|Dec 13, 2020

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文は、大規模データセットからの意味的に関連する補助データを活用して少数ショット画像分類を向上させる、拡張少数ショット学習（EFSL）というフレームワークを提案する。知識グラフを用いて関連する「偽ショット」を同定し、メタ学習されたマスキングモジュールでこれらの例からの特徴をフィルタリング・適応させる。これにより、単純微調整および転移学習よりもそれぞれ4.68および6.03パーセンテージポイントの精度向上を達成する。

ABSTRACT

In many practical few-shot learning problems, even though labeled examples are scarce, there are abundant auxiliary datasets that potentially contain useful information. We propose the problem of extended few-shot learning to study these scenarios. We then introduce a framework to address the challenges of efficiently selecting and effectively using auxiliary data in few-shot image classification. Given a large auxiliary dataset and a notion of semantic similarity among classes, we automatically select pseudo shots, which are labeled examples from other classes related to the target task. We show that naive approaches, such as (1) modeling these additional examples the same as the target task examples or (2) using them to learn features via transfer learning, only increase accuracy by a modest amount. Instead, we propose a masking module that adjusts the features of auxiliary data to be more similar to those of the target classes. We show that this masking module performs better than naively modeling the support examples and transfer learning by 4.68 and 6.03 percentage points, respectively.

研究の動機と目的

• 新しい少数ショット分類タスクにおいて、ラベル付きデータが不足するが、豊富な補助データが利用可能な状況のギャップを埋めるため。
• サポートセットを超えた外部ラベル付きデータを統合する新しい学習パラダイム「拡張少数ショット学習（EFSL）」を形式化するため。
• 意味的に関連する補助例（偽ショット）を知的に選択し、それらを少数ショットモデルに効果的に統合する手法を開発するため。
• 補助データからの特徴をターゲットタスクの表現とよりよく一致させるように適応するマスキングモジュールを設計するため。
• EFSL手法の公平な評価を可能にするために、ターゲットクラスと補助クラス間の制御された意味的距離を持つベンチマークを提供するため。

提案手法

• ターゲットクラスと補助クラス間の意味的類似度を計算するために、知識グラフ（例：ConceptNet）を用いる。
• ターゲットクラスと意味的に関連するクラスから、補助例のサブセット（「偽ショット」として命名）を選択する。
• ターゲットタスクに最も関連する特徴を同定・強調する、メタ学習されたマスキングモジュールを訓練する。
• マスキングモジュールを適用して、偽ショットからの特徴を修正し、ターゲットクラスの埋め込みとより一致させる。
• アーキテクチャの変更なしに、既存のFSLモデル（例：最近傍重心、関係ネットワーク）にマスクされた偽ショットを統合する。
• 多様な少数ショットタスク（意味的距離が異なるものも含む）をシミュレートするエピソード的メタラーニングにより、マスキングモジュールをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、新しい少数ショット分類タスクに対して意味的に関連する補助データを効果的に選択できるか？
• RQ2 意味的に遠く離れた補助例からのノイズや不適切な特徴を、適応的にフィルタリング・統合するメカニズムは何か？
• RQ3 補助クラスとターゲットクラス間の意味的距離が増加するにつれて、EFSLの性能はどのように変化するか？
• RQ4 補助データを用いる場合、提案されたマスキングモジュールは単純な微調整および転移学習を上回る性能を示せるか？
• RQ5 このフレームワークは、さまざまなFSLモデルやベンチマークに一般化可能か？

主な発見

• 提案されたマスキングモジュールは、偽ショットを単純にモデル化する手法よりも、少数ショット分類精度を4.68パーセンテージポイント向上させる。
• 補助データを特徴学習に使用する転移学習よりも、マスキングモジュールは6.03パーセンテージポイントの精度向上を達成する。
• 補助データを画像埋め込みの事前学習にのみ使用する場合、平均精度は5.86パーセンテージポイント向上する。
• 偽ショットをターゲットプロトタイプの更新に単純に使用すると、平均で4.13パーセンテージポイントの精度向上にとどまる。
• 補助データがターゲットクラスから意味的に離れていても、フレームワークは強固な性能を維持する。
• 本手法は、最近傍重心、関係ネットワーク、埋め込み適応手法を含む、多数のFSL分類器と互換性がある。