[論文レビュー] Joint CNN and Transformer Network via weakly supervised Learning for efficient crowd counting

Fusen Wang, Kai Liu+4 more|arXiv (Cornell University)|Mar 12, 2022

Video Surveillance and Tracking Methods被引用数 10

ひとこと要約

本論文では、位置レベルのラベル付けにかかるコストを回避するため、計数レベルのアノテーションのみを用いる弱教師付き集団数え上げのための、CNNとTransformerを統合したJCTNetを提案する。局所的な意味的特徴抽出にCNNを、グローバルな文脈モデリングに変更されたSwin Transformerを組み合わせることで、純粋なTransformerモデルと比較して67–73%少ないパラメータで最先端の性能を達成し、弱教師付きでも集団領域に効果的に注目できる。

ABSTRACT

Currently, for crowd counting, the fully supervised methods via density map estimation are the mainstream research directions. However, such methods need location-level annotation of persons in an image, which is time-consuming and laborious. Therefore, the weakly supervised method just relying upon the count-level annotation is urgently needed. Since CNN is not suitable for modeling the global context and the interactions between image patches, crowd counting with weakly supervised learning via CNN generally can not show good performance. The weakly supervised model via Transformer was sequentially proposed to model the global context and learn contrast features. However, the transformer directly partitions the crowd images into a series of tokens, which may not be a good choice due to each pedestrian being an independent individual, and the parameter number of the network is very large. Hence, we propose a Joint CNN and Transformer Network (JCTNet) via weakly supervised learning for crowd counting in this paper. JCTNet consists of three parts: CNN feature extraction module (CFM), Transformer feature extraction module (TFM), and counting regression module (CRM). In particular, the CFM extracts crowd semantic information features, then sends their patch partitions to TRM for modeling global context, and CRM is used to predict the number of people. Extensive experiments and visualizations demonstrate that JCTNet can effectively focus on the crowd regions and obtain superior weakly supervised counting performance on five mainstream datasets. The number of parameters of the model can be reduced by about 67%~73% compared with the pure Transformer works. We also tried to explain the phenomenon that a model constrained only by count-level annotations can still focus on the crowd regions. We believe our work can promote further research in this field.

研究の動機と目的

• 各人物に位置レベルのバウンディングボックスを必要とする完全教師付き集団数え上げ手法の高いアノテーションコストを低減すること。
• CNNが集団シーンにおける長距離依存関係やグローバルな文脈をモデル化する能力に制限を受ける問題を克服すること。
• 純粋なTransformerモデルの欠点、すなわち過剰なパラメータ数と、人物を複数のトークンに分割する不適切なパッチ分割を是正すること。
• 画像レベルの計数アノテーションのみを用いて高精度を達成する弱教師付き集団数え上げフレームワークを開発すること。
• 計数レベルの監視のみで学習されたモデルが、CNNとTransformerの補完的学習により、なぜ集団領域に注目できるのかを説明すること。

提案手法

• JCTNetは、VGG16-BNの最初の10層に基づくCNN特徴抽出モジュール（CFM）を統合し、入力画像から局所的な意味的特徴を抽出する。
• CFMからの特徴マップはパッチに分割され、グローバルな文脈モデリングと長距離依存関係の学習のため、変更されたSwin Transformerブロック（MSTB）に供給される。
• 変更されたTransformerモジュールは、局所的自己注意とクロスウィンドウ相互作用を用いて、空間的関係を保持し、特徴表現を向上させる。
• 計数回帰モジュール（CRM）は、Transformerからの最終的なトークン特徴を処理し、画像内の総人数を予測する。
• モデルは、計数レベルの監視に基づいて予測誤差を最小化するSmooth L1損失関数を用いて、エンドツーエンドで訓練される。
• モデルは、CNNのインダクティブバイアスを活用することでパラメータ数を削減しながらも、Transformerのグローバルモデリングの強みを維持するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 計数レベルの監視のみで学習された弱教師付き集団数え上げモデルが、実際の集団領域に注目し続けることができるか？
• RQ2 CNNとTransformerを共同で最適化することで、性能を向上させるとともにモデルの複雑さを軽減できるか？
• RQ3 Transformerの自己注意メカニズムにより、CNN単体よりも集団領域と背景領域を明確に区別できるか？
• RQ4 提案されたアーキテクチャにおいて、埋め込み次元とSwin Transformerブロック数の最適なトレードオフは何か？
• RQ5 位置レベルの監視が欠如しているにもかかわらず、なぜモデルは良好に一般化できるのか？

主な発見

• JCTNetは、ShanghaiTech Part Aデータセットで平均絶対誤差（MAE）62.8を達成し、以前の弱教師付き手法を上回った。
• 純粋なTransformerベースのアプローチと比較して、パラメータ数を67–73%削減し、最良の設定で2880万パラメータを実現した。
• アブレーションスタディにより、CFM、TFM、CRMの各モジュールが段階的に性能向上に寄与していることが確認された。
• L1損失関数ではなくSmooth L1損失関数を用いることで、ShanghaiTech Part AでMAEが63.7から62.8に低下し、MSEも98.1から95.6に低下した。
• 可視化結果から、位置レベルの監視がなくても、モデルは依然として集団領域（赤色の長方形）に注目していることが示され、効果的な注目学習が行われていることが裏付けられた。
• CNNのインダクティブバイアスとTransformerのグローバルモデリングの組み合わせにより、前景と背景の対照的特徴を学習でき、弱教師付きの下でもモデルの頑健性が説明された。