[論文レビュー] Rethinking Spatial Invariance of Convolutional Networks for Object Counting

Zhi-Qi Cheng, Qi Dai+4 more|arXiv (Cornell University)|Jun 10, 2022

Video Surveillance and Tracking Methods被引用数 9

ひとこと要約

この論文は、空間的不変性の向上が物体カウント性能を改善するという一般的な常識に挑戦し、過度に厳しいピクセル単位の不変性が密度マップのノイズに過剰適合することを示している。低ランク近似を用いたガウス畳み込みを提案することで、空間的不変性を緩和し、物体の位置の学習を向上させ、7つのベンチマーク（集団・車両・植物のカウント）で最先端の性能を達成した。

ABSTRACT

Previous work generally believes that improving the spatial invariance of convolutional networks is the key to object counting. However, after verifying several mainstream counting networks, we surprisingly found too strict pixel-level spatial invariance would cause overfit noise in the density map generation. In this paper, we try to use locally connected Gaussian kernels to replace the original convolution filter to estimate the spatial position in the density map. The purpose of this is to allow the feature extraction process to potentially stimulate the density map generation process to overcome the annotation noise. Inspired by previous work, we propose a low-rank approximation accompanied with translation invariance to favorably implement the approximation of massive Gaussian convolution. Our work points a new direction for follow-up research, which should investigate how to properly relax the overly strict pixel-level spatial invariance for object counting. We evaluate our methods on 4 mainstream object counting networks (i.e., MCNN, CSRNet, SANet, and ResNet-50). Extensive experiments were conducted on 7 popular benchmarks for 3 applications (i.e., crowd, vehicle, and plant counting). Experimental results show that our methods significantly outperform other state-of-the-art methods and achieve promising learning of the spatial position of objects.

研究の動機と目的

• 畳み込みネットワークにおける過剰な空間的不変性が物体カウント性能に与える影響を調査すること。
• アノテーションエラーとカーネルの重複によって引き起こされる密度マップのノイズが、モデルの一般化性能と予測安定性に与える影響を分析すること。
• 厳密なピクセル単位の空間的不変性を緩和することで、真の物体位置と分布の学習を向上させる手法を提案すること。
• 標準畳み込みをガウス畳み込みに置き換えることで、密度マップのノイズに対してより頑健になり、カウント精度が向上することを実証すること。

提案手法

• 特徴抽出中に空間的位置をより柔軟にモデル化できるように、標準畳み込みフィルタを局所接続型ガウスカーネルに置き換える。
• 大規模なガウス畳み込みを効率的に計算するため、低ランク近似を導入し、計算コストを低減しながらも空間モデリング能力を維持する。
• 主な層（例：残差ブロック、空間的ピラミッドプーリング）に、既存のネットワーク（MCNN、CSRNet、SANet、ResNet-50）にガウス畳み込みを統合する。
• 微分可能にエンドツーエンドで手法を適用し、最終の密度マップでのみではなく、特徴学習プロセスそのものから空間構造を直接学習できるようにする。
• 性能と過剰適合のバランスを取るために、マルチスケールのガウスカーネルサイズ（K）を適応的に設定（例：残差ブロックではK=4、空間的ピラミッド層ではK=16）する。
• 学習率の段階的減少を用いた標準的な回帰損失で訓練することで、修正された誘導的バイアスにもかかわらず収束安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 CNNにおけるピクセル単位の空間的不変性を高めることで、実際に物体カウント性能が向上するのか、それとも密度マップのノイズに過剰適合するのか？
• RQ2 密度マップ生成におけるアノテーションエラーとカーネルの重複が、モデルの予測分散と一般化性能に与える影響は何か？
• RQ3 標準畳み込みをガウス畳み込みに置き換えることで、モデルが真の物体位置と分布を学習する能力が向上するのか？
• RQ4 物体カウントネットワークにおいて、空間的不変性と空間的感度の最適なトレードオフは何か？
• RQ5 ガウス畳み込みによる空間的不変性の緩和は、多様なカウントベンチマークで一貫した性能向上をもたらすのか？

主な発見

• 過剰なピクセル単位の空間的不変性は、モデル性能（例：空間的不変性）が向上しても、密度マップのノイズに過剰適合し、予測分散が高くなる。
• 元のベースライン（MCNN、CSRNet、SANet、ResNet-50）は、20回のランダムな訓練実験において顕著な予測分散を示しており、全誤差の約25％を占め、高密度および低密度領域においても同様である。
• SHTech ParA、UCF-QNRF、JHU-CROWD++におけるアブレーションスタディにより、提案手法の低ランク近似を用いたガウス畳み込みは、標準畳み込みよりも顕著に予測分散を低減していることが示された。
• 集団・車両・植物のカウントを対象とした7つの主流ベンチマークにおいて、本手法はMAEおよびMSE指標で、既存の最先端手法を上回る最先端の性能を達成した。
• 最適なカーネルサイズ（K）はネットワーク構造に依存し、残差ブロックではK=4、空間的ピラミッドプーリングではK=16、マルチカラム構造ではK=2–32であることが判明し、アーキテクチャ設計に敏感であることが示された。
• 局所化精度の向上とアノテーションノイズへの過剰適合の低減が観察されたことから、モデルが実際の物体位置と分布をよりよく学習できていることが裏付けられた。