[論文レビュー] Should I Look at the Head or the Tail? Dual-awareness Attention for Few-Shot Object Detection.

Tung-I Chen, Yueh-Cheng Liu+5 more|arXiv (Cornell University)|Feb 24, 2021

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本稿では、少数ショットオブジェクト検出（FSOD）におけるサポート画像とクエリ画像間のクロス画像空間的関係をモデル化する新規アテンションメカニズム、Dual-Awareness-Attention（DAnA）を提案する。空間的不整合に対するロバスト性が向上し、Faster R-CNN や RetinaNet といった既存の検出器を強化し、COCO で 48% および 125% の相対的向上を達成し、最先端の性能を実現する。

ABSTRACT

While recent progress has significantly boosted few-shot classification (FSC) performance, few-shot object detection (FSOD) remains challenging for modern learning systems. Existing FSOD systems follow FSC approaches, neglect the problem of spatial misalignment and the risk of information entanglement, and result in low performance. Observing this, we propose a novel Dual-Awareness-Attention (DAnA), which captures the pairwise spatial relationship cross the support and query images. The generated query-position-aware support features are robust to spatial misalignment and used to guide the detection network precisely. Our DAnA component is adaptable to various existing object detection networks and boosts FSOD performance by paying attention to specific semantics conditioned on the query. Experimental results demonstrate that DAnA significantly boosts (48% and 125% relatively) object detection performance on the COCO benchmark. By equipping DAnA, conventional object detection models, Faster-RCNN and RetinaNet, which are not designed explicitly for few-shot learning, reach state-of-the-art performance.

研究の動機と目的

• 少数ショット分類（FSC）の進展にもかかわらず、空間的不整合および情報の混同という課題が、少数ショットオブジェクト検出（FSOD）の性能を妨げていることを解決する。
• 既存の FSOD メソッドが、サポート画像とクエリ画像間の空間的関係を考慮しないまま FSC アプローチを単純に適応しているという限界を克服する。
• 少数ショット学習のためのアーキテクチャの再設計を必要とせず、既存のオブジェクト検出ネットワークを強化できる汎用的なアテンションモジュールを開発する。
• 空間的変動に強いクエリ位置に依存するサポート特徴を生成することで、検出精度を向上させ、より正確に検出を誘導する。

提案手法

• サポート画像とクエリ画像の特徴間のペアワイズ空間的関係を明示的にモデル化するアテンションメカニズム、Dual-Awareness-Attention（DAnA）を提案する。
• クエリ画像特徴に注目することで、クエリの空間的文脈に基づいてサポート特徴を適応させる、クエリ位置に依存するサポート特徴を生成する。
• Faster R-CNN や RetinaNet などの既存の検出ヘッドに DAnA をプラグインモジュールとして統合し、アーキテクチャの変更なしに標準的な検出器で使用可能にする。
• クロスアテンション機構を用いて、サポート特徴とクエリの空間的位置をアライメントするアテンション重みを計算し、空間的不整合への感受性を低減する。
• アテンションメカニズムをクエリ画像の空間的レイアウトと意味的コンテンツの両方に条件づけることで、関連するサポート領域に選択的に注目できるようにする。
• 標準的な検出損失を用いてエンドツーエンドでモデルを学習させつつ、DAnA はアテンションの監視を通じて特徴表現を精緻化する学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 サポート画像とクエリ画像間のクロス画像空間的関係をモデル化することで、少数ショットオブジェクト検出の性能が向上するか？
• RQ2 クエリ位置に依存するアテンションメカニズムは、FSOD における空間的不整合の悪影響を軽減するか？
• RQ3 DAnA のような汎用アテンションモジュールは、標準的なオブジェクト検出器に効果的に統合可能で、最先端の FSOD 性能を達成できるか？
• RQ4 既存の FSOD メソッドと比較して、DAnA は COCO のような標準ベンチマークでどの程度検出精度を向上させるか？

主な発見

• DAnA は COCO ベンチマーク上で少数ショットオブジェクト検出の性能を顕著に向上させ、ベースラインの Faster R-CNN に対して 48% の相対的向上を達成した。
• RetinaNet に適用した場合、DAnA は検出性能で 125% の相対的向上を達成し、アーキテクチャを問わず強力な汎用性を示した。
• アーキテクチャの変更なしに標準検出器に DAnA を統合した結果、最先端の結果が得られ、その有効性と適応性を実証した。
• 提案手法は、サポート特徴に対するクエリに依存するアテンションを学習することで、空間的不整合の問題を効果的に軽減した。
• 情報の混同を低減することで特徴表現を強化し、より正確なオブジェクトの局所化と分類を実現した。
• アブレーションスタディにより、アテンションにおける空間的および意味的認識の両方が性能向上に不可欠であることが確認され、二重認識設計の有効性が裏付けられた。