[論文レビュー] PARN: Position-Aware Relation Networks for Few-Shot Learning

Ziyang Wu, Yuwei Li+2 more|arXiv (Cornell University)|Sep 10, 2019

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 7

ひとこと要約

本論文は、可変的特徴抽出器（DFE）と二重相関注意メカニズム（DCA）を導入することで、関係ネットワーク（RNs）の空間的認識能力とメトリック学習におけるロバスト性を向上させる、新規な少サンプル学習フレームワークである位置認識関係ネットワーク（PARN）を提案する。PARNは、OmniglotおよびMini-ImageNetで最先端の性能を達成しており、Mini-ImageNetにおける5クラス1ショットの精度は54.36%であり、Omniglotでは従来の5クラス5ショットの結果を上回っている。

ABSTRACT

Few-shot learning presents a challenge that a classifier must quickly adapt to new classes that do not appear in the training set, given only a few labeled examples of each new class. This paper proposes a position-aware relation network (PARN) to learn a more flexible and robust metric ability for few-shot learning. Relation networks (RNs), a kind of architectures for relational reasoning, can acquire a deep metric ability for images by just being designed as a simple convolutional neural network (CNN) [23]. However, due to the inherent local connectivity of CNN, the CNN-based relation network (RN) can be sensitive to the spatial position relationship of semantic objects in two compared images. To address this problem, we introduce a deformable feature extractor (DFE) to extract more efficient features, and design a dual correlation attention mechanism (DCA) to deal with its inherent local connectivity. Successfully, our proposed approach extents the potential of RN to be position-aware of semantic objects by introducing only a small number of parameters. We evaluate our approach on two major benchmark datasets, i.e., Omniglot and Mini-Imagenet, and on both of the datasets our approach achieves state-of-the-art performance with the setting of using a shallow feature extraction network. It's worth noting that our 5-way 1-shot result on Omniglot even outperforms the previous 5-way 5-shot results.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNNs）の局所的受容野による影響で、標準の関係ネットワーク（RNs）が空間的位置に敏感であるという限界を是正すること。
• RNsのメトリック学習能力を向上させるために、意味的オブジェクトの位置と画像間の微細な特徴に注意を向けるように設計すること。
• 深層特徴抽出器に依存せずに、一般化性能を向上させる軽量でパラメータ効率の良い手法を設計すること。
• 浅い特徴抽出器のみを用いて、標準的な少サンプルベンチマークで最先端の性能を達成すること。

提案手法

• 関連する意味的オブジェクトに焦点を当て、背景ノイズを低減するための適応的サンプリングオフセットを学習する可変的特徴抽出器（DFE）を導入する。
• 2つの入力特徴間のグローバルな空間的関係を、クロスアテンションと自己アテンションを用いてモデル化する二重相関注意メカニズム（DCA）を提案する。
• 類似度に基づいて相互特徴関係を計算するためのクロスアテンション（CCA）を用い、RN処理の前段階での初期比較を可能にする。
• 各入力内の特徴内依存関係を捉え、特徴表現を精緻化するための自己アテンション（SCA）を用いる。
• CCAとSCAをDCAで統合することで、密な位置認識特徴集約を実現し、RNsが異なる空間的位置にある特徴を比較できるようにする。
• シンプルなCNNベースのRNをメトリックモジュールとして採用し、DFEとDCAが空間的にずれた特徴や微細な特徴を処理する能力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 少サンプル画像比較において、空間的位置の変動に対してよりロバストな関係ネットワークは実現可能か？
• RQ2 アテンションメカニズムは、空間的に一致しない特徴を比較する能力をどのように向上させるか？
• RQ3 適切なアテンションと特徴抽出設計を施した軽量で浅い特徴抽出器は、最先端の少サンプル学習性能を達成可能か？
• RQ4 可変的畳み込みと二重アテンションを導入することで、少サンプル学習ベンチマークにおける一般化性能が向上するか？

主な発見

• PARNは5クラス1ショットのMini-ImageNetベンチマークで54.36%の精度を達成し、ベースラインのRNよりも3.07ポイント高い。
• 5クラス5ショットのMini-ImageNetタスクでは70.50%の精度に達し、Omniglotで過去の5クラス1ショットの結果を上回っている。
• アブレーションスタディの結果、CCAとSCAをDCAで組み合わせることで最も高い性能向上が得られ、ベースラインのRN比で3.21%の向上を示した。
• Grad-CAMの可視化により、DCAが画像間で重複のない関連する意味的特徴に注目できることを確認し、比較のロバスト性が向上している。
• DFEの有効受容野（ERF）の可視化から、オブジェクト領域に適応的に焦点を合わせ、関係のない背景特徴をフィルタリングしていることが示された。
• DCAを用いた学習は収束が速く、学習ダイナミクスの向上とより良い特徴表現学習が示唆された。