[論文レビュー] Object Counting: You Only Need to Look at One

Hui Lin, Xiaopeng Hong+1 more|arXiv (Cornell University)|Dec 11, 2021

Video Surveillance and Tracking Methods被引用数 9

ひとこと要約

本稿では、自己注意機構と相関注意機構を用いてインスタンス内およびインスタンス間の関係をモデル化するとともに、スケール集約機構を組み合わせることでマルチスケール特徴抽出を実現する、LaoNetと呼ばれる新規なワンショットオブジェクトカウントモデルを提案する。本モデルは、1つのサポート例のみを用いて、FSC-147およびCOCOベンチマークで高速収束と高い精度を達成し、最先端の性能を実現する。

ABSTRACT

This paper aims to tackle the challenging task of one-shot object counting. Given an image containing novel, previously unseen category objects, the goal of the task is to count all instances in the desired category with only one supporting bounding box example. To this end, we propose a counting model by which you only need to Look At One instance (LaoNet). First, a feature correlation module combines the Self-Attention and Correlative-Attention modules to learn both inner-relations and inter-relations. It enables the network to be robust to the inconsistency of rotations and sizes among different instances. Second, a Scale Aggregation mechanism is designed to help extract features with different scale information. Compared with existing few-shot counting methods, LaoNet achieves state-of-the-art results while learning with a high convergence speed. The code will be available soon.

研究の動機と目的

• 1つのアノテート済み例でのみ、未学習の新しいオブジェクトカテゴリのカウントを可能にする課題に対処すること。
• 少数ショットカウントの状況におけるドメインシフトやインスタンスの変動（例：スケール、回転）を克服すること。
• 微調整なしで多様なオブジェクトカテゴリに効果的に一般化できるモデルを設計すること。
• インスタンス内およびインスタンス間の特徴相関をモデル化することで、ワンショットカウントのロバスト性と精度を向上させること。
• 従来の少数ショットカウント手法と比較して、収束速度が速く、安定した学習性能を達成すること。

提案手法

• クエリ画像の特徴間の内部関係と、クエリとサポートの特徴間の相互関係を学習するため、自己注意機構と相関注意機構を組み合わせた特徴相関モジュールを導入する。
• 自己注意機構を用いてクエリ画像内およびサポートボックス内の特徴を精緻化し、顕著な領域とその空間的依存関係に焦点を当てる。
• サポート領域からマルチスケール特徴を抽出し、空間的一致性を保持しながら統合するスケール集約機構を実装する。
• 特徴をフラット化した際に空間構造を維持するために、位置埋め込みを適用する。
• 最終的な密度マップを予測するための密度推定器を用い、合計カウントはマップのすべての値の合計として得る。
• 特徴の整合性と回帰精度を向上させるために、L1損失とSSIM損失の組み合わせを用いて学習する。

実験結果

リサーチクエスチョン

• RQ1 1つのサポート例のみで、新しいオブジェクトカテゴリの正確でロバストなカウントが可能か？
• RQ2 注意メカニズムは、スケールや姿勢が異なる多様なオブジェクトインスタンス間で、特徴相関の学習をどのように向上させるか？
• RQ3 マルチスケール特徴集約は、少数ショットカウントにおいてモデルの一般化性能をどの程度向上させるか？
• RQ4 提案されたLaoNetは、従来の少数ショットカウントモデルと比較して、収束が速く、より安定しているか？
• RQ5 ワンショットカウントモデルは、同じカテゴリで微調整された事前学習済みオブジェクト検出器を上回ることができるか？

主な発見

• FSC-147データセットにおいて、LaoNetは、従来手法と比較してテストセットのMAEを17.11から15.78に、RMSEを56.81から97.15に削減し、最先端の性能を達成した。
• COCOデータセットでは、FSC147-COCOテストスプリットでMAEが12.89、RMSEが26.64を達成し、RetinaNet や Faster R-CNN などの事前学習済みオブジェクト検出器を顕著に上回った。
• アブレーションスタディの結果、自己注意モジュールが性能向上に最も寄与しており、アブレーションバージョンと比較してMAEを19.9%、RMSEを13.1%削減した。
• スケール集約機構は、特にロバスト性を向上させ、それがないアブレーションバージョンと比較してRMSEを10.4%削減した。
• SSIM損失は性能をさらに向上させ、ベースラインからMAEを1.5%、RMSEを3.4%削減した。
• LaoNetは、ベースライン手法と比較して著しく高速に収束した—2エポックで低検証MAEに到達したが、FamNetは同程度の性能に到達するまでに40エポックを要した。