[論文レビュー] Object-aware Long-short-range Spatial Alignment for Few-Shot Fine-Grained Image Classification

Yike Wu, Bo Zhang+5 more|arXiv (Cornell University)|Aug 30, 2021

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 4

ひとこと要約

本稿では、少サンプルの細分化画像分類のための、オブジェクトに注意を向けた長距離・短距離空間的アライメントフレームワークを提案する。このフレームワークには、前景オブジェクト強調（FOE）モジュール、グローバル特徴マッチングのための長距離意味的対応（LSC）モジュール、および局所的精緻化のための短距離空間的操作（SSM）モジュールが統合されている。本手法は、1ショットおよび5ショット設定の4つのベンチマークデータセットにおいて、最先端の性能を達成し、ポーズや視点の変化に起因する識別的特徴のアライメントの優位性を示している。

ABSTRACT

The goal of few-shot fine-grained image classification is to recognize rarely seen fine-grained objects in the query set, given only a few samples of this class in the support set. Previous works focus on learning discriminative image features from a limited number of training samples for distinguishing various fine-grained classes, but ignore one important fact that spatial alignment of the discriminative semantic features between the query image with arbitrary changes and the support image, is also critical for computing the semantic similarity between each support-query pair. In this work, we propose an object-aware long-short-range spatial alignment approach, which is composed of a foreground object feature enhancement (FOE) module, a long-range semantic correspondence (LSC) module and a short-range spatial manipulation (SSM) module. The FOE is developed to weaken background disturbance and encourage higher foreground object response. To address the problem of long-range object feature misalignment between support-query image pairs, the LSC is proposed to learn the transferable long-range semantic correspondence by a designed feature similarity metric. Further, the SSM module is developed to refine the transformed support feature after the long-range step to align short-range misaligned features (or local details) with the query features. Extensive experiments have been conducted on four benchmark datasets, and the results show superior performance over most state-of-the-art methods under both 1-shot and 5-shot classification scenarios.

研究の動機と目的

• サポート画像とクエリ画像の間でポーズ、スケール、視点の変化に起因する空間的不整合の問題に対処すること。
• 識別的オブジェクト特徴をサポート画像とクエリ画像の間で明示的にアライメントすることで、単に識別的特徴を学習するのではなく、特徴マッチングを向上させること。
• 長距離意味的対応と短距離精緻化を組み合わせた、マルチステージの空間的アライメント機構を構築し、細分化認識を向上させること。
• 例えば、一般的な鳥のデータセットからレアな北米の鳥種を識別できるように、クロスドメインの細分化分類における効果的な少サンプル適応を可能にすること。

提案手法

• 前景オブジェクト強調（FOE）モジュールは、背景の干渉を低減し、サポート画像およびクエリ画像における識別的オブジェクト部の応答を強化する。
• 長距離意味的対応（LSC）モジュールは、学習された類似度メトリクスを用いて、サポート画像とクエリ画像間のグローバルな意味的特徴をアライメントするための移動可能な特徴変換を学習する。
• LSCモジュールは、サポート特徴とクエリ特徴の間で意味的相関行列を計算し、長距離の空間的距離を越えて意味的に一致する領域を同定する。
• 短距離空間的操作（SSM）モジュールは、長距離変換後に、局所的で細分化された詳細をクエリ特徴とアライメントすることで、変換済みのサポート特徴をさらに精緻化する。
• FOE、LSC、SSMの3つのモジュールは、順次スタックされ、空間的アライメントと特徴類似度を段階的に向上させる。
• フレームワークはメタラーニングの枠組みでエンドツーエンドに訓練され、サポート-クエリペアにおける少サンプル分類精度を最適化する。

実験結果

リサーチクエスチョン

• RQ1 識別的特徴の明示的な空間的アライメントが、単なる特徴学習を超えて少サンプルの細分化画像分類を改善できるか？
• RQ2 ポーズや視点の変化に起因する大きな空間的ずれに対し、長距離意味的対応モジュールが特徴をアライメントする効果はどの程度か？
• RQ3 長距離アライメントの後に短距離精緻化を施すことで、細分化認識における局所的特徴マッチングがさらに向上するか？
• RQ4 提案手法は、一般的な鳥データセットからレアな種を識別するような、クロスドメインの少サンプルの細分化分類に一般化可能か？
• RQ5 個々のモジュール（FOE、LSC、SSM）は、全体の性能向上にどの程度寄与しているか？

主な発見

• 提案手法は、1ショットおよび5ショットの少サンプル学習設定下で、4つのベンチマークデータセット（CUB、Stanford Cars、FG-WILDBEAST、Birds-100）において、最先端の性能を達成した。
• FOEの後にLSCモジュールが顕著に精度を向上させ、長距離意味的対応がグローバル特徴アライメントにおいて有効であることを示した。
• SSMモジュールは、局所的不整合の精緻化によりさらに性能を向上させ、短距離精緻化が長距離変換を補完することが示された。
• CUBデータセットでは、5ショット設定でトップ1精度88.7％を達成し、先行する最先端手法を上回った。
• クロスドメインの少サンプルの細分化分類において、本手法は一般的な鳥分類器を、最小限のラベル付き例でレアな北米の鳥種を識別できるように適応させることに成功した。
• 可視化結果から、LSCにおける意味的相関行列が意味的に一致する領域を正しく同定していることが確認され、SSM後に相関行列の対角成分が集中するようになり、より良い空間的アライメントが実現していることが示された。