[論文レビュー] A Low-Shot Object Counting Network With Iterative Prototype Adaptation

N Djukić, Alan Lukežič+2 more|arXiv (Cornell University)|Nov 15, 2022

Advanced Neural Network Applications被引用数 8

ひとこと要約

LOCAは、反復的にエグジンプレ形状と外観情報を適応的オブジェクトプロトタイプに統合する、画期的な低ショットオブジェクトカウントネットワークを提案する。これにより、局所化精度とカウント精度が顕著に向上し、FSC147において少ショット、ワンショット、ゼロショットの各設定で最先端の性能を達成する。少ショット設定では相対RMSEが33.4%改善され、ゼロショット設定では16.3%改善された。

ABSTRACT

We consider low-shot counting of arbitrary semantic categories in the image using only few annotated exemplars (few-shot) or no exemplars (no-shot). The standard few-shot pipeline follows extraction of appearance queries from exemplars and matching them with image features to infer the object counts. Existing methods extract queries by feature pooling which neglects the shape information (e.g., size and aspect) and leads to a reduced object localization accuracy and count estimates. We propose a Low-shot Object Counting network with iterative prototype Adaptation (LOCA). Our main contribution is the new object prototype extraction module, which iteratively fuses the exemplar shape and appearance information with image features. The module is easily adapted to zero-shot scenarios, enabling LOCA to cover the entire spectrum of low-shot counting problems. LOCA outperforms all recent state-of-the-art methods on FSC147 benchmark by 20-30% in RMSE on one-shot and few-shot and achieves state-of-the-art on zero-shot scenarios, while demonstrating better generalization capabilities.

研究の動機と目的

• 既存の少ショットカウント手法が、プロトタイプ抽出時にオブジェクト形状情報を無視するという制限に対処し、局所化精度とカウント精度の低下を是正すること。
• 単一のアーキテクチャで、少ショット、ワンショット、ゼロショットを含む、低ショットカウントの全範囲をカバーできる統合フレームワークの開発。
• 固定サイズのプーリングに依存するのではなく、画像全体の外観特徴を用いて、エグジンプレ形状を明示的にモデル化し、プロトタイプを適応的に変更することで一般化性能の向上。
• FSC147ベンチマークとCARPKにおけるクロスデータセット一般化において、優れた性能とロバスト性を実証すること。

提案手法

• エグジンプレ形状と外観クエリを独立して処理する新しいオブジェクトプロトタイプ抽出（OPE）モジュールを導入。
• エグジンプレ外観とグローバル画像特徴を統合することで、反復的にオブジェクトプロトタイプを精緻化し、同じクラスの未観測インスタンスへの一般化を向上。
• 複数ステップにわたってプロトタイプを更新する学習可能な反復的適応メカニズムを採用し、特徴の識別性と局所化精度を向上。
• 困難で高密度なケースに注目させるために、損失関数（$\mathcal{L}_{OSE}$）にオブジェクトカウント正規化を適用。
• 各OPEブロックに補助的監視を組み込み、訓練の安定性を高め、反復処理における特徴品質を向上。
• アテンションまたはプロポーザルベースの手法を用いて、アノテーションなしでエグジンプレを暗黙的に同定することで、ゼロショット設定にフレームワークを適応。

Figure 1 : LOCA injects shape and appearance information into object queries to precisely count objects of various sizes in densely and sparsely populated scenarios. It also extends to a zero-shot scenario and achieves excellent localization and count errors across the entire low-shot spectrum.

実験結果

リサーチクエスチョン

• RQ1 エグジンプレ形状情報の明示的モデリングは、低ショットオブジェクトカウントにおけるオブジェクト局所化とカウント精度の向上に寄与するか？
• RQ2 グローバル画像特徴とエグジンプレ外観を反復的に統合することで、プロトタイプ構築における固定サイズプーリングよりも優れた一般化性能が得られるか？
• RQ3 統一されたアーキテクチャが、少ショット、ワンショット、ゼロショットのカウントベンチマークで最先端の性能を達成できるか？
• RQ4 提案された反復的プロトタイプ適応メカニズムは、エンドツーエンドで学習された類似度関数と比較して、精度とロバスト性において優れているか？
• RQ5 この手法は、未観測のデータセットやオブジェクトスケールにどの程度一般化できるか？

主な発見

• LOCAは、FSC147の少ショットベンチマークにおいて、先行研究の最先端手法比で相対RMSEが33.4%改善された。
• ゼロショット設定では、16.3%の相対RMSE改善を達成し、最先端の性能を実現した。
• クロスデータセット一般化においても強力な性能を示し、CARPKの車両カウントデータセットで9.2%の相対RMSE改善を達成した。
• アブレーションスタディの結果、損失関数におけるオブジェクトカウント正規化によりMAEが11%低下し、OPEブロックにおける補助損失によりRMSEが17%低下した。
• 定性的な結果から、LOCAは特に高密度シーンにおいて、小・大・混合サイズのオブジェクトを、ベースラインを上回る精度でカウントしていることが確認された。
• OPEモジュールの設計が性能向上の主因であることが、バックボーンの事前学習、入力解像度、プロトタイプサイズに関するアブレーションから明らかになった。

Figure 2 : The LOCA architecture. Input image is encoded into features $\mathbf{f}^{E}$ , which are depth-wise correlated (*) by $n$ object queries predicted by the object prototype extraction module. The response map $\tilde{\mathbf{R}}$ is obtained by computing per-element maximum of $n$ similarit