[論文レビュー] Open-world Text-specified Object Counting

Niki Amini-Naieni, Kiana Amini-Naieni+2 more|arXiv (Cornell University)|Jun 2, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本論文は、視覚的例（例：バウンディングボックス）を必要とせず、画像と自然言語記述から直接オブジェクト数を予測する、オープンワールドのテキスト指定オブジェクトカウントを目的とした単段階的でクラスに依存しないトランスフォーマー基盤モデル、CounTXを提案する。FSC-147ベンチマークにおいて、先行する二段階手法を上回り、より洗練された詳細なテキスト記述を備えたFSC-147-Dと呼ばれる拡張データセットを導入した。

ABSTRACT

Our objective is open-world object counting in images, where the target object class is specified by a text description. To this end, we propose CounTX, a class-agnostic, single-stage model using a transformer decoder counting head on top of pre-trained joint text-image representations. CounTX is able to count the number of instances of any class given only an image and a text description of the target object class, and can be trained end-to-end. In addition to this model, we make the following contributions: (i) we compare the performance of CounTX to prior work on open-world object counting, and show that our approach exceeds the state of the art on all measures on the FSC-147 benchmark for methods that use text to specify the task; (ii) we present and release FSC-147-D, an enhanced version of FSC-147 with text descriptions, so that object classes can be described with more detailed language than their simple class names. FSC-147-D and the code are available at https://www.robots.ox.ac.uk/~vgg/research/countx.

研究の動機と目的

• ターゲットクラスが事前に定義されておらず、推論時に指定されるオープンワールドオブジェクトカウント問題に対処すること。
• 自然言語記述のみを用いて、人為的な視覚的例（例：バウンディングボックス）を必要としないオープンワールドカウントを実現すること。
• 未学習のオブジェクトクラスにも一般化可能な、単段階的でエンドツーエンドで学習可能なモデルを開発すること。
• より複雑で現実的であるカウントタスクをサポートするため、FSC-147ベンチマークを詳細なテキスト記述で拡張すること。
• 画像およびテキストエンコーダーの異なるファインチューニング戦略がカウント性能に与える影響を評価すること。

提案手法

• CounTXは、事前学習済みのCLIPベースの統合画像・テキストエンコーダーを用い、入力画像とテキスト記述を共有の埋め込み空間に埋め込む。
• トランスフォーマーのデコーダーを用いて、テキスト埋め込みと画像パッチ特徴量の間でクロスアテンションを計算し、関連するオブジェクト領域を局所化する類似度をモデル化する。
• 得られたアテンションマップを画像解像度にアップサンプリングし、密度マップに変換して総オブジェクト数を予測する。
• 予測値と正解値のオブジェクト数および密度マップの両方にL1およびL2損失を組み合わせて、エンドツーエンドでモデルを学習する。
• アブレーションスタディにより、テキストエンコーダーを固定し、画像エンコーダーのみをファインチューニングすると最良の性能が得られることを確認した。
• 本手法はCLIPのゼロショット一般化能力を活用するとともに、ファインチューニングによって視覚エンコーダーをカウントタスクに特化させる。

実験結果

リサーチクエスチョン

• RQ1 視覚的例を必要とせず、エンドツーエンドで学習可能な単段階的モデルが、オープンワールドのテキスト指定オブジェクトカウントで最先端の性能を達成できるか？
• RQ2 画像エンコーダーおよびテキストエンコーダーの固定またはファインチューニングの選択が、カウント性能に与える影響はいかほどか？
• RQ3 事前学習済みのCLIPベースモデルが、自然言語記述のみに依存してオブジェクトを数える能力をどの程度一般化できるか？
• RQ4 FSC-147ベンチマークに詳細なテキスト記述を追加することで、モデルの一般化性能および評価のロバストネスが向上するか？
• RQ5 テキスト記述のみを用いて、1枚の画像に複数のオブジェクトクラスを正確に区別できるか？

主な発見

• CounTXはFSC-147テストセットで平均絶対誤差（MAE）15.88および平均二乗誤差（RMSE）106.29を達成し、Xuら（2023）の先行二段階手法をすべての指標で上回った。
• テキストエンコーダーを固定し、画像エンコーダーのみをファインチューニングすると最良の性能が得られ、完全にファインチューニングした設定と比較してMAEが50％以上低減した。
• モデルは、指定されたテキスト記述に一致する領域のみを強調する密度マップを効果的に生成し、意味論的根拠に基づく正確な局所化を示した。
• FSC-147-DおよびCountBenchにおける定性的な結果から、CounTXはインスタンス数が少ない画像や複雑な記述に対しても良好に一般化できることを示した。
• 詳細なテキスト記述を備えたFSC-147-Dの公開により、テキスト指定カウントモデルのより現実的で多様な評価が可能になった。
• モデルは推論時に未学習のオブジェクトクラスに対しても一般化できることを確認し、オープンワールド能力を裏付けた。