[論文レビュー] Hierarchical Attention Network for Few-Shot Object Detection via Meta-Contrastive Learning

Dongwoo Park, Jongmin Lee|arXiv (Cornell University)|Aug 15, 2022

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本稿では、少数ショットオブジェクト検出のための階層的アテンションネットワークとメタ対照的学習を提案する。局所的およびグローバルなアテンションをマルチスケール特徴集約モジュールとクラスに依存しない類似度学習目的によって統合し、特徴表現を向上させる。相関ベースの対照的学習を通じてサポート画像を効果的に活用することで、微調整を必要としない状況でもCOCOで1〜30ショットの設定で最先端の性能を達成する。

ABSTRACT

Few-shot object detection (FSOD) aims to classify and detect few images of novel categories. Existing meta-learning methods insufficiently exploit features between support and query images owing to structural limitations. We propose a hierarchical attention network with sequentially large receptive fields to fully exploit the query and support images. In addition, meta-learning does not distinguish the categories well because it determines whether the support and query images match. In other words, metric-based learning for classification is ineffective because it does not work directly. Thus, we propose a contrastive learning method called meta-contrastive learning, which directly helps achieve the purpose of the meta-learning strategy. Finally, we establish a new state-of-the-art network, by realizing significant margins. Our method brings 2.3, 1.0, 1.3, 3.4 and 2.4% AP improvements for 1-30 shots object detection on COCO dataset. Our code is available at: https://github.com/infinity7428/hANMCL

研究の動機と目的

• 既存の少数ショットオブジェクト検出手法がグローバルアテンションに依存するという限界を解決する。これにより、局所的文脈情報が十分に活用されない。
• メタラーニングが少数ショットオブジェクト検出において有効であるかを検証し、より良い特徴整合性を実現するための目的関数を改善する。
• 局所的領域からグローバル領域へ段階的に受容 field を拡大する階層的アテンション機構を設計し、特徴表現を強化する。
• クラスに依存しない類似度学習を可能にするメタ対照的学習モジュールを開発し、クエリ画像とサポート画像間の特徴整合性を向上させる。
• 微調整を必要としない状況で、ゼロショットおよびクロスドメイン設定を含む低データ環境でも最先端の性能を達成する。

提案手法

• 深さ方向および拡張畳み込みをグローバル自己アテンションと組み合わせた階層的アテンションモジュール（HAM）を導入し、局所的からグローバルスケールへ段階的に受容 field を拡大する。
• 共有された全結合層を用いてクエリ画像とサポート画像の特徴間の相関特徴を生成するメタ対照的学習モジュール（Meta-CLM）を採用し、カテゴリに依存しない二値分類による類似度評価を可能にする。
• ResNet-101を特徴抽出器として用いた二段階のFaster R-CNNバックボーンを採用し、HAMを領域提案ネットワークおよび検出ヘッドに統合する。
• 相関特徴に基づく対照的損失を適用し、同じクラスに属するクエリ-サポートペアは類似度が高く、異なるペアは遠く離れるように、判別性の高い埋め込み空間を促進する。
• ベースクラス上でメタラーニングを用いてモデルをエンドツーエンドに訓練し、微調整なしに新規カテゴリでのゼロショット推論を可能にする。
• カーネルサイズを段階的に増加させる（例：5, 7, 14, 21, 28）階層的アテンション構造を採用し、局所的からグローバルな文脈を体系的に探索する。アブレーションスタディで妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 局所的およびグローバルなアテンションを統合する階層的アテンション機構は、少数ショットオブジェクト検出における特徴表現を向上させることができるか？
• RQ2 マルチクラス分類ではなく類似度ベースのマッチングを目的関数に再設計した場合、メタラーニングは少数ショットオブジェクト検出を効果的に改善できるか？
• RQ3 クラスに依存しない対照的学習目的は、新規カテゴリ間でクエリとサポート画像の特徴整合性を向上させることができるか？
• RQ4 ドメインまたはカテゴリシフトが発生するゼロショットおよびクロスドメインの少数ショット検出設定において、提案手法はどの程度の性能を示すか？
• RQ5 受容 field を段階的に拡大する階層的アテンション構造は、非階層的または逆階層的設計よりも効果的であるか？

主な発見

• 提案手法は、COCOにおける1, 2, 3, 5, 10, 30ショットの設定で、微調整を必要とせずに最先端の平均平均精度（mAP）を達成し、先行手法を上回る。
• ゼロショット評価設定（ベースクラスでの学習のみ、新規カテゴリでのテスト）においても、高い適応性を示し、強力な性能を維持する。
• アブレーションスタディにより、階層的アテンション機構は非階層的または逆階層的構造に比べてmAPを顕著に向上させることを確認した。特にカーネルサイズ14, 21, 28で最良の性能を示した。
• メタ対照的学習モジュールにより特徴の判別性が向上し、アブレーションスタディで特に少数ショットおよびクロスドメイン設定で高いmAPが得られた。
• クロスドメイン評価（例：Pascal VOCで学習しCOCOでテスト）においても、既存手法よりも優れた一般化性能を示し、ドメインシフトに対して強い耐性を示した。
• アテンションマップの可視化により、未学習のカテゴリに対しても、ベースライン手法に比べてより正確に物体領域に注目していることが確認された。