[論文レビュー] Learning to Count Anything: Reference-less Class-agnostic Counting with Weak Supervision

Michael Hobley, Victor Adrian Prisacariu|arXiv (Cornell University)|May 20, 2022

Advanced Neural Network Applications被引用数 12

ひとこと要約

本論文は、ポイントレベルのアノテーションや参照画像を一切必要とせず、自己教師ありビジョントランスフォーマー特徴を用いてインスタンスを数える参照なしでクラスに依存しないカウンティング手法RCCを提案する。FSC-147および改良版FSC-133データセットにおいて、最先端の性能を達成し、既存の参照なし手法を上回り、完全な教師あり手法と同等の性能を示す。

ABSTRACT

Current class-agnostic counting methods can generalise to unseen classes but usually require reference images to define the type of object to be counted, as well as instance annotations during training. Reference-less class-agnostic counting is an emerging field that identifies counting as, at its core, a repetition-recognition task. Such methods facilitate counting on a changing set composition. We show that a general feature space with global context can enumerate instances in an image without a prior on the object type present. Specifically, we demonstrate that regression from vision transformer features without point-level supervision or reference images is superior to other reference-less methods and is competitive with methods that use reference images. We show this on the current standard few-shot counting dataset FSC-147. We also propose an improved dataset, FSC-133, which removes errors, ambiguities, and repeated images from FSC-147 and demonstrate similar performance on it. To the best of our knowledge, we are the first weakly-supervised reference-less class-agnostic counting method.

研究の動機と目的

• 参照画像やインスタンスレベルのアノテーションを必要とせず、未学習のオブジェクトクラスに一般化可能なカウンティング手法の開発。
• 自己教師ありビジョントランスフォーマー特徴とグローバルコンテキストが、単純な回帰によって正確でクラスに依存しないカウンティングを可能にするかの検証。
• 既存のデータセットの限界を是正し、誤りや曖昧さ、重複を除去したクリーニング済みで信頼性の高いベンチマーク、FSC-133を構築して、カウンティングモデルの評価をより信頼性高くすること。
• 自己アテンションメカニズムによるグローバルコンテキストが、オブジェクトに依存しない形で繰り返しインスタンスを特定するために不可欠であるかの検証。
• 強力で汎用性の高い特徴と組み合わせた場合、最小限の監督（総数のみ）で高精度なカウンティングが可能であるかの検証。

提案手法

• 入力画像からグローバルでコンテキストに配慮した特徴を抽出するために、自己教師あり事前学習を施したビジョントランスフォーマーバックボーン（ViT-Small）を用いる。
• フラット化されたクラストークンからの特徴を、単純な線形プロジェクションヘッドが直接総数を回帰する。
• モデルはインスタンスレベルのアノテーションや参照画像を一切使用せず、真値のカウントのみを監督信号として用いて学習する。
• 特徴可視化により、位置情報の監督なしにアテンションメカニズムが関連するオブジェクト領域を局所化していることが確認された。
• 本手法はFSC-147および元のデータセットに誤り・曖昧さ・重複が含まれるのを是正した新規に提案されたFSC-133データセットで評価された。
• アブレーションスタディでは、自己アテンションを持たないResNet-50およびConvNeXtバックボーンとの比較により、グローバルコンテキストの重要性が示された。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり事前学習を施したビジョントランスフォーマーは、参照画像やポイントレベルのアノテーションを一切必要とせず、正確でクラスに依存しないカウンティングを可能にするか？
• RQ2 自己アテンションメカニズムのグローバル受容場は、参照なし設定において繰り返しインスタンスを特定するために不可欠か？
• RQ3 ビジョントランスフォーマー特徴に単純な線形ヘッドを適用した場合、より複雑な畳み込み回帰ヘッドを用いる場合よりもカウンティングタスクで優れた性能を示すか？
• RQ4 提案手法の性能は、完全な教師ありおよび参照画像を用いる手法を上回るか、同等か？
• RQ5 本モデルは、現実世界の多様なオブジェクト構成および未学習のクラスに対して、どのように一般化するか？

主な発見

• RCCはFSC-133でテストセットのMAEが14.23、RMSEが43.83を達成し、唯一の他の参照なし手法を上回り、参照画像と完全な教師ありを用いる最先端手法と同等の性能を示した。
• 自己アテンションとグローバルコンテキストの重要性を裏付けるために、ImageNet事前学習を施した場合でさえも、ResNet-50およびConvNeXtをバックボーンとして用いた場合に比べ、ビジョントランスフォーマーベースの手法が顕著に優れた性能を示した。
• 単純な線形回帰ヘッドが、より複雑な畳み込み回帰ヘッドよりも優れた性能を示した。後者は学習クラスに過剰適合し、性能を低下させた。
• 特徴可視化により、位置の監督なしにモデルが関連するオブジェクトインスタンスを暗黙的に局所化していることが示され、繰り返し検出に強いインダクティブバイアスを有することが示唆された。
• 本モデルは、未学習のクラスやオブジェクト構成に対しても良好に一般化でき、クロスドメインのCARPKデータセットでも同様に高い性能を示した。これにより、強靭性と転移性の高さが実証された。
• 提案されたFSC-133データセットは、FSC-147から122件の誤り、15枚の曖昧な画像、12枚の重複画像を除去し、将来的な研究のためのよりクリーニングされ信頼性の高いベンチマークとなった。