[論文レビュー] Point-Query Quadtree for Crowd Counting, Localization, and More

Chengxin Liu, Hao Lu+2 more|arXiv (Cornell University)|Aug 26, 2023

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本論文は、集団推定を分解可能なポイントクエリ処理として扱う、トランスフォーマーに基づく新規フレームワークであるPoint-Query Quadtree (PET)を提案する。密度の高い領域ではデータに依存するクエリの動的分割を可能にするデータドリブンなクアッドツリーと、効率的な推論を実現するプログレッシブな長方形ウィンドウアテンションを用いることで、PETは上海技術大学PartAで49.34 MAEという最先端の性能を達成するとともに、完全教師あり推定、部分的アノテーション学習、ポイントアノテーションの最適化といった複数の学習パラダイムを統合的にモデル化可能である。

ABSTRACT

We show that crowd counting can be viewed as a decomposable point querying process. This formulation enables arbitrary points as input and jointly reasons whether the points are crowd and where they locate. The querying processing, however, raises an underlying problem on the number of necessary querying points. Too few imply underestimation; too many increase computational overhead. To address this dilemma, we introduce a decomposable structure, i.e., the point-query quadtree, and propose a new counting model, termed Point quEry Transformer (PET). PET implements decomposable point querying via data-dependent quadtree splitting, where each querying point could split into four new points when necessary, thus enabling dynamic processing of sparse and dense regions. Such a querying process yields an intuitive, universal modeling of crowd as both the input and output are interpretable and steerable. We demonstrate the applications of PET on a number of crowd-related tasks, including fully-supervised crowd counting and localization, partial annotation learning, and point annotation refinement, and also report state-of-the-art performance. For the first time, we show that a single counting model can address multiple crowd-related tasks across different learning paradigms. Code is available at https://github.com/cxliu0/PET.

研究の動機と目的

• 完全教師あり推定、ロケーション推定、部分的アノテーション学習、ポイントアノテーションの最適化といった多様な集団関連タスクを、1つの解釈可能なフレームワークで統合すること。
• ポイントベースの集団モデリングにおけるクエリ数の固定という課題に取り組み、クエリが少なすぎると過小推定が生じ、多すぎると計算コストが増加する問題を解消すること。
• 階層的なクアッドツリー構造を用いて、スパースおよび密度の高い集団領域を動的にデータ依存で処理すること。
• 局所的なコンテキストを低メモリで捉えるプログレッシブな長方形ウィンドウアテンションを導入することで、推論効率と表現学習を向上させること。
• 各クエリポイントが実際に人物または背景に対応する直感的で操作可能で解釈可能な集団モデリングを提供すること。

提案手法

• PETは、任意の入力ポイントを用いて、各ポイントが人物かどうか、およびその位置を予測する、分解可能なポイントクエリ処理として集団推定を定式化する。
• ポイントクエリクアッドツリー構造により、データに依存する分割が可能である：各クエリポイントは密度の高い領域で4つの新しいポイントに分割され、局所的な密度に動的に適応する。
• モデルは画像特徴を抽出するためのCNNバックボーンを用い、その後、局所的な空間的ウィンドウ内でコンテキストを符号化するプログレッシブな長方形ウィンドウアテンションを備えたトランスフォーマーエンコーダーを適用する。
• トランスフォーマー・デコーダーは、クエリポイントを並列処理し、局所的な長方形ウィンドウ内でアテンションを計算することで、計算コストを低減し、効率を向上させる。
• 最終的な予測ヘッドは、各ポイントについて「人物」または「背景」として分類するための確率とボクシングボックス座標を出力する。
• プログレッシブな長方形ウィンドウアテンション機構はエンコーダーおよびデコーダーに適用され、長方形のウィンドウが正方形やグローバルアテンションよりも優れているのは、集団シーンにおける視覚的先行知識（パースペクティブプライア）とより良い整合性を示すためである。

実験結果

リサーチクエスチョン

• RQ1 完全教師あり、部分的アノテーション、ポイントの最適化といった複数の学習パラダイムを、1つの解釈可能なフレームワークで統合的に扱うことは可能か？
• RQ2 事前にクエリ数を定義せずに、ポイントベースのクエリメカニズムが変動する集団密度に動的に適応できるか？
• RQ3 局所的でプログレッシブなアテンション機構が、高解像度の集団シーンにおける推論効率と性能に与える影響は何か？
• RQ4 クアッドツリーに基づく構造は、スパースおよび密度の高い集団領域の両方で、計算コストと正確性のバランスを効果的にとれるか？
• RQ5 ポイントクエリの解釈可能性が、モデルの透明性とタスクへの適応性をどの程度向上させるか？

主な発見

• PETは上海技術大学PartAベンチマークで49.34 MAEという最先端の平均絶対誤差を達成し、先行手法を上回った。
• ポイントクエリクアッドツリー構造により、基準となるポイントクエリと比較して、上海技術大学PartAでは約4、UCF-QNRFでは約11のMAE低減が達成された。これは、スパースおよび密度の高い領域の処理が改善されたためである。
• プログレッシブな長方形ウィンドウアテンションは性能を顕著に向上させ、デコーダーでの使用で51.93 MAE、エンコーダーおよびデコーダー両方での使用で49.34 MAEを記録し、正方形やグローバルアテンションを上回った。
• PETはわずか20.9Mパラメータで、1024×1024の入力に対して0.097秒の推論時間を達成しており、P2PNet や CLTR といった手法よりもパラメータ効率に優れている。
• アテンションマップの可視化により、モデルが長方形ウィンドウ内で類似した集団パターンに注目していることが確認され、有効な局所的コンテキスト符号化が行われていることが示された。
• モデルは複数の学習パラダイムにわたる一般化性能が強く、1つのアーキテクチャで完全教師あり推定、部分的アノテーション学習、ポイントアノテーションの最適化を効果的に処理できた。