[論文レビュー] Rethinking Global Context in Crowd Counting

Guolei Sun, Yun Liu+4 more|arXiv (Cornell University)|May 23, 2021

Video Surveillance and Tracking Methods参考文献 87被引用数 9

ひとこと要約

本論文は、文脈トークンとトークンアテンションモジュール（TAM）を用いてグローバルな文脈モデリングを強化する視覚変換器ベースの混雑度数え上げ手法を提案する。TAMはチャネルごとの特徴を再キャリブレーションすることで、特徴表現の強靭性を向上させる。同時に、総混雑度数の予測を監督する回帰トークンモジュール（RTM）を導入する。この手法は、複数のベンチマークデータセットで最先端の性能を達成し、ベースラインモデル比でMAEを最大4.2点まで低減する。

ABSTRACT

This paper investigates the role of global context for crowd counting. Specifically, a pure transformer is used to extract features with global information from overlapping image patches. Inspired by classification, we add a context token to the input sequence, to facilitate information exchange with tokens corresponding to image patches throughout transformer layers. Due to the fact that transformers do not explicitly model the tried-and-true channel-wise interactions, we propose a token-attention module (TAM) to recalibrate encoded features through channel-wise attention informed by the context token. Beyond that, it is adopted to predict the total person count of the image through regression-token module (RTM). Extensive experiments on various datasets, including ShanghaiTech, UCF-QNRF, JHU-CROWD++ and NWPU, demonstrate that the proposed context extraction techniques can significantly improve the performance over the baselines.

研究の動機と目的

• グローバルな文脈の役割を、明示的な幾何的または意味的シーン知識が欠如する状況において調査すること。
• 視覚変換器がチャネルごとの特徴相互作用をモデル化する能力に限界があること、特に強靭な特徴表現に不可欠な点を是正すること。
• 文脈に配慮したアテンションメカニズムと補助的監視を導入することで、密度マップ予測と総混雑度数の回帰を向上させること。
• 専用の文脈トークンによる明示的なグローバルな文脈モデリングが、密な混雑度数え上げにおいて顕著な性能向上をもたらすことを示すこと。

提案手法

• 重複する画像パッチからグローバル特徴を抽出するために視覚変換器を用い、グローバル画像文脈を表す専用の文脈トークンを入力シーケンスに追加する。
• トークンアテンションモジュール（TAM）は、文脈トークンに基づいてアテンション重みを計算することで、チャネル間の依存関係を可能にするチャネルごとの特徴再キャリブレーションを実行する。
• 回帰トークンモジュール（RTM）は、画像内の総人数を予測し、文脈トークンの学習をガイドする補助損失を提供する。
• 最終的な特徴マップは、2層のデコンボリューション層を用いてアップサンプリングされ、予測された混雑度マップが生成される。
• ピクセル単位の密度マップ損失と総数回帰損失を組み合わせた損失関数でモデルを学習し、ハイパーパramータ λr を用いて制御する。
• 本手法は、ShanghaiTech、UCF-QNRF、JHU-CROWD++、NWPU の4つの標準データセットで評価され、MAE と MSE を指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 明示的な幾何的または意味的監視がなくとも、専用の文脈トークンを備えた視覚変換器が、混雑度数え上げにおいてグローバルなシーン文脈を効果的にモデル化できるか？
• RQ2 本手法で提案されたトークンアテンションモジュール（TAM）は、SE や CBAM といった従来のチャネルアテンション機構と比較して、視覚変換器の文脈でどのように優れているか？
• RQ3 回帰トークンモジュール（RTM）による補助的監視は、総混雑度数予測と密度マップ推定の精度を向上させるか？
• RQ4 回帰損失の寄与度を制御するハイパーパramータ λr の変動に対して、本手法の性能はどれほど頑健か？
• RQ5 本手法が採用するグローバル文脈モデリング技術による性能向上は、データセットサイズに応じてスケーリングするか？

主な発見

• 提案手法は、ShanghaiTech A データセットで平均絶対誤差（MAE）53.1を達成し、ベースライン比で4.2ポイントの改善を示した。
• トークンアテンションモジュール（TAM）は、ベースライン比でMAEを2.2点、MSEを2.8点低減し、文脈に配慮したアテンションを活用することで、SE や CBAM モジュールを上回る性能を発揮した。
• TAM と回帰トークンモジュール（RTM）を組み合わせることで最高の性能が得られ、ベースライン比でMAEを4.2点、MSEを6.8点低減した。
• ハイパーパramータ λr に対してモデルは頑健であり、0.01から1.0の広い範囲で性能低下が最小限に抑えられた。
• 大規模データセット（JHU-CROWD++ と NWPU）では、小規模データセット（ShanghaiTech と UCF-QNRF）よりも顕著な性能向上が見られたことから、データスケールがグローバル文脈モデリングの有効性に影響を与えることが示唆された。
• 失敗事例の主な原因は、トレーニングデータに適切に表現されていない低品質またはコントラストが低い入力画像であり、劣悪な視覚条件下での一般化の課題が示された。