[論文レビュー] CAT: Cross-Attention Transformer for One-Shot Object Detection

Weidong Lin, Yuyan Deng+6 more|arXiv (Cornell University)|Apr 30, 2021

Advanced Neural Network Applications参考文献 22被引用数 8

ひとこと要約

本論文は、1ショットオブジェクト検出のためのクロスアテンショントランスフォーマー（CAT）モジュールを提案する。このモジュールは、二重ストリームトランスフォーマーを用いて、クエリ画像とターゲット画像間の双方向的かつグリッドレベルの対応関係をモデル化することで、意味的類似度の比較を向上させる。本手法は、性能の損なわれない効率的な特徴圧縮を実現したため、COCO、VOC、FSODベンチマークで最先端の精度を達成するとともに、従来のSOTAであるCoAEと比べて約2.5倍高速に動作する。

ABSTRACT

Given a query patch from a novel class, one-shot object detection aims to detect all instances of that class in a target image through the semantic similarity comparison. However, due to the extremely limited guidance in the novel class as well as the unseen appearance difference between query and target instances, it is difficult to appropriately exploit their semantic similarity and generalize well. To mitigate this problem, we present a universal Cross-Attention Transformer (CAT) module for accurate and efficient semantic similarity comparison in one-shot object detection. The proposed CAT utilizes transformer mechanism to comprehensively capture bi-directional correspondence between any paired pixels from the query and the target image, which empowers us to sufficiently exploit their semantic characteristics for accurate similarity comparison. In addition, the proposed CAT enables feature dimensionality compression for inference speedup without performance loss. Extensive experiments on COCO, VOC, and FSOD under one-shot settings demonstrate the effectiveness and efficiency of our method, e.g., it surpasses CoAE, a major baseline in this task by 1.0% in AP on COCO and runs nearly 2.5 times faster. Code will be available in the future.

研究の動機と目的

• 1ショットオブジェクト検出において、1つのアノテート済み例でのみ新しいオブジェクトクラスを検出するという課題に対処すること。
• 極度のクラス不均衡と外観の変動が生じる状況下でも、クエリ画像とターゲット画像間の意味的類似度比較を向上させること。
• 精度を損なわず、軽量で効率的かつ汎用的なモジュールを開発し、1ショット検出のための特徴表現を強化すること。
• 既存の最先端手法と比較して、優れた検出性能とより高速な推論速度を両立すること。

提案手法

• CATモジュールは、クエリ画像とターゲット画像のグリッドレベル特徴量の間でクロスアテンションを計算するために、2つのインタラーブルなトランスフォーマーストリームを採用し、ピクセル・パッチレベルでの双方向的対応関係を捉える。
• モデルは、CATモジュールに供給する前に、クエリ画像とターゲット画像の両方から共通の特徴量を抽出するために、シアン型バックボーン（ResNet-50）を用いる。
• CATモジュールは、豊富な対応情報を利用することで、効果的な特徴次元圧縮を可能にし、最終的な特徴次元を性能低下なしに256にまで低減する。
• フレームワークは2段階の検出パイプラインに統合されている：まずCATがクエリ-ターゲット対応に基づいて特徴量を強化し、次に領域提案ネットワークと分類器がオブジェクトを検出し分類する。
• モデルは、COCO、VOC、FSODベンチマークで一貫したデータ分割を採用した標準的な1ショット検出プロトコルに従って訓練される。
• ハイパーパramータのアブレーションでは、$d_m = 256$ に設定することで、精度と速度の最良なトレードオフが達成されることを示している。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくモジュールは、クエリ画像とターゲット画像間の双方向的かつグリッドレベルの対応関係を効果的にモデル化でき、1ショットオブジェクト検出を向上させることができるか？
• RQ2 提案されたCATモジュールは、限定的な監視と大きな外観変動の下で、どのように意味的類似度比較を向上させるか？
• RQ3 CAT処理後に特徴次元をどの程度圧縮しても、検出性能が劣化しないか？
• RQ4 提案手法は、既存の最先端1ショット検出器と比較して、より高い精度とより速い推論速度を両立できるか？
• RQ5 モデルは、ゼロショットおよびフェイシュート設定において、学習済みクラスから未学習クラスへどのように一般化するか？

主な発見

• COCOデータセットでは、再実装されたCoAEベースラインと比較して、平均APが1.0%高く、AP50が0.9%高い。
• VOCデータセットでは、未学習クラスでmAPが1.3ポイント向上し、CoAEよりもわずかに優れた一般化性能を示した。
• FSODデータセットでは、新規クラスでAPが1.7%高く、AP75が2.5%高い。
• NVIDIA RTX-2080Tiで16.3 FPSの速度を達成しており、これはCoAEの5.9 FPSと比べて約2.5倍高速であるが、特徴次元を小さくしたにもかかわらず性能に劣化がない。
• アブレーションスタディにより、$d_m = 256$ が精度と推論速度の最適なバランスを提供することが確認され、$d_m = 1024$ では過学習が生じ、$d_m = 128$ ではAPが2ポイント低下した。
• 可視化結果は、CATモジュールが徐々に注意マップを精緻化し、クエリクラスに一致するオブジェクトに注目するようになることを示しており、意味的対応関係の強化におけるその役割を裏付けている。