[論文レビュー] Leveraging Bottom-Up and Top-Down Attention for Few-Shot Object Detection

Xianyu Chen, Ming Jiang+1 more|arXiv (Cornell University)|Jul 23, 2020

Advanced Neural Network Applications参考文献 63被引用数 8

ひとこと要約

本稿では、極度のデータ不足下でも検出性能を向上させるために、ボトムアップ視覚的注目マップとトップダウン注目を組み合わせた、新規の少サンプル物体検出フレームワークAttFDNetを提案する。人間の注視行動の事前知識をボトムアップ注目で統合し、新たな集中損失関数とハイブリッド学習戦略を導入することで、PASCAL VOCで最先端の性能を達成し、2ショットおよび3ショット設定における新規カテゴリのmAPを顕著に向上させた。

ABSTRACT

Few-shot object detection aims at detecting objects with few annotated examples, which remains a challenging research problem yet to be explored. Recent studies have shown the effectiveness of self-learned top-down attention mechanisms in object detection and other vision tasks. The top-down attention, however, is less effective at improving the performance of few-shot detectors. Due to the insufficient training data, object detectors cannot effectively generate attention maps for few-shot examples. To improve the performance and interpretability of few-shot object detectors, we propose an attentive few-shot object detection network (AttFDNet) that takes the advantages of both top-down and bottom-up attention. Being task-agnostic, the bottom-up attention serves as a prior that helps detect and localize naturally salient objects. We further address specific challenges in few-shot object detection by introducing two novel loss terms and a hybrid few-shot learning strategy. Experimental results and visualization demonstrate the complementary nature of the two types of attention and their roles in few-shot object detection. Codes are available at https://github.com/chenxy99/AttFDNet.

研究の動機と目的

• 限られたアノテーション付き例によるモデルの過学習および一般化性能の低下という、少サンプル物体検出の課題に対処する。
• 十分な監視信号が得られない状況下で、トップダウン注目が効果的に注目マップを学習できないという、少サンプル状況におけるトップダウン注目の限界を克服する。
• 注視行動データから得られるボトムアップ注目を、タスクに依存しない事前知識として活用し、注目を引きつける顕著な物体の検出を支援する。
• 物体集中損失および背景集中損失の2つの新しい損失項を導入することで、モデルのロバスト性と特徴の識別性能を向上させる。
• 転移学習とメタラーニングを組み合わせたハイブリッド少サンプル学習戦略を構築し、モデルの初期化を改善し、過学習を防止する。

提案手法

• 人間の注視行動データから得られるボトムアップ注目マップを、画像内の顕著で注目を引きつける領域を強調する事前知識として統合する。
• 1段階検出器（RFB-SSD）内にボトムアップとトップダウン注目メカニズムを統合し、少サンプルカテゴリの特徴表現を強化する。
• メタラーニングと転移学習を交互に適用するハイブリッド少サンプル学習戦略を提案し、モデルの一般化性能を向上させる。
• 新規カテゴリのクラス内特徴の一致を強化し、ハードネガティブアノテーションの影響を軽減するため、物体集中損失を導入する。
• 不要な特徴を抑制し、前景と背景領域の識別性能を向上させるために、背景集中損失を設計する。
• ベースカテゴリからの知識を保持し、データ不足下での訓練を安定化させるために、事前学習済みのフルデータセットモデルからの知識蒸留を適用する。

実験結果

リサーチクエスチョン

• RQ1 監視信号が極めて限られた状況下で、人間の注視行動データから得られるボトムアップ注目が、少サンプル物体検出の性能向上に有効な事前知識として機能するか？
• RQ2 ボトムアップとトップダウン注目メカニズムは、少サンプル物体検出においてどのように補い合い、それぞれが検出性能にどのように寄与するか？
• RQ3 提案された集中損失（物体および背景）は、少サンプル状況下で特徴の識別性能とモデルの一般化性能をどの程度向上させるか？
• RQ4 ハイブリッド少サンプル学習戦略は、標準的なメタラーニングや転移学習単体に比べ、ロバスト性および精度の面で優れているか？
• RQ5 顕著性の事前知識を統合することで、モデルの新規カテゴリ検出能力は向上するが、ベースカテゴリの性能は維持されるか？

主な発見

• AttFDNetは、PASCAL VOCで2ショット設定において20.7%、3ショット設定において29.1%の新規カテゴリmAPを達成し、ベースラインのRFB-ft-full（それぞれ8.1%および10.8% mAP）を顕著に上回った。
• アブレーションスタディの結果、ボトムアップ注目（BU）が顕著な性能向上をもたらすことが確認された：2ショット設定では、AttFDNet（BU+TD）が58.1%の全mAPを達成したのに対し、トップダウンのみ（TD）では56.3%、ベースラインでは48.6%であった。
• 蒸留損失を除去すると、ベースmAPは52.0%に低下し、新規mAPは18.0%にまで低下するなど、知識保持の観点で極めて重要な役割を果たしていることが示された。
• 背景集中損失と物体集中損失はそれぞれ独立して性能向上に寄与しており、両方を除去すると2ショット設定での全mAPは55.4%に低下し、両者の相乗効果が明確に示された。
• ハイブリッド少サンプル学習戦略により、より良好なモデル初期化が可能となり、AttFDNet（BU+TD）w/o bkでは57.5%の全mAPを達成し、標準的なメタラーニングベースラインを上回った。
• 可視化および定性的な分析から、トップダウン注目がぼんやりしている状況でも、ボトムアップ注目が顕著な物体を効果的に強調していることが確認され、両者の補完的役割が裏付けられた。