[論文レビュー] Weighing Counts: Sequential Crowd Counting by Reinforcement Learning

Liang Liu, Hao Lü+4 more|arXiv (Cornell University)|Jul 16, 2020

Video Surveillance and Tracking Methods参考文献 50被引用数 4

ひとこと要約

この論文は、スケールの秤量をインspiredした順序的意思決定問題としてカウントを定式化する、LibraNetと呼ばれる新しい集団数え上げ手法を提案している。深層強化学習を用いて、真の集団数に近づけるために逐次的に重み（行動）を選択する。本手法は、深層Qネットワーク（DQN）に基づくバランスタスクとしてカウント推定プロセスをモデル化することで、ShanghaiTech、UCF_CC_50、UCF-QNRFベンチマークで最先端の性能を達成している。Q値としてのシミュレートされたスケールの針の位置からのフィードバックにより、エラーを最小化するようにエージェントが学習する。

ABSTRACT

We formulate counting as a sequential decision problem and present a novel crowd counting model solvable by deep reinforcement learning. In contrast to existing counting models that directly output count values, we divide one-step estimation into a sequence of much easier and more tractable sub-decision problems. Such sequential decision nature corresponds exactly to a physical process in reality scale weighing. Inspired by scale weighing, we propose a novel 'counting scale' termed LibraNet where the count value is analogized by weight. By virtually placing a crowd image on one side of a scale, LibraNet (agent) sequentially learns to place appropriate weights on the other side to match the crowd count. At each step, LibraNet chooses one weight (action) from the weight box (the pre-defined action pool) according to the current crowd image features and weights placed on the scale pan (state). LibraNet is required to learn to balance the scale according to the feedback of the needle (Q values). We show that LibraNet exactly implements scale weighing by visualizing the decision process how LibraNet chooses actions. Extensive experiments demonstrate the effectiveness of our design choices and report state-of-the-art results on a few crowd counting benchmarks. We also demonstrate good cross-dataset generalization of LibraNet. Code and models are made available at: https://git.io/libranet

研究の動機と目的

• 密集・隠蔽・サイズのばらつきが激しい集団に対して、直接回帰に基づく数え上げモデルが困難を抱えるという限界を解消すること。
• 人間の数え方や物理的スケールの秤量をインスパイアした、順序的意思決定プロセスとして集団数え上げをモデル化すること。
• 強化学習を用いてグローバルな数え上げ推定を、取り扱い可能な部分的意思決定に分解することで、精度と一般化性能を向上させること。
• 既存の局所的数え上げモデルに即座に統合可能なプラグイン型統合を可能にすること。
• 分布シフト（例：長尾データや画像品質の変動）のような厳しい視覚的条件下でも、汎用性と耐性を示すことを実証すること。

提案手法

• エージェント（LibraNet）が仮想的なスケールに重みを順次置くことで、真の集団数に一致させるという、順序的意思決定問題として集団数え上げを定式化する。これは物理的スケールの秤量に類似している。
• 画像特徴と現在のスケール状態（すなわち、以前に配置された重みの合計）に基づいて、最適な重み選択ポリシーを学習するために深層Qネットワーク（DQN）を用いる。
• 各ステップでエージェントが選択可能な、事前に定義された離散的重み値のプール（例：±0.01、±0.02、…、±5）を定義する。
• 現在の合計重みと真値との乖離に基づく報酬関数を採用し、Q値としての針の位置からのフィードバックが学習を導く。
• 二段階パイプラインを導入する：まず、局所的数え上げモデル（例：TasselNetv2）がパッチ単位の数を生成し、次にLibraNetがその集計を順次行動選択によって行い、最終的なグローバル数を生成する。
• 離散的区間予測からの連続的数値の回復に逆量子化を適用することで、回帰ベースの適応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 集団数え上げを、人間の数え方を模倣した順序的意思決定プロセスとして効果的にモデル化できるか？
• RQ2 強化学習を用いて仮想スケールをバランスさせるという、スケールの秤量としての数え上げ推定の定式化が、直接回帰法よりも精度と耐性を向上させるか？
• RQ3 ShanghaiTech、UCF_CC_50、UCF-QNRFのような標準的な集団数え上げベンチマークにおいて、LibraNetは最先端のモデルと比較してどのように性能を発揮するか？
• RQ4 特に長尾データ分布や画像品質の変動といった分布シフトが生じた場合に、LibraNetはどの程度の汎用性を示すか？
• RQ5 提案手法は、既存の局所的数え上げモデルに効果的にプラグインとして統合可能か？

主な発見

• LibraNetは、ShanghaiTech Part_A、Part_B、UCF_CC_50、UCF-QNRFベンチマークで最先端の性能を達成し、TasselNetv2 や他の最先端モデルを上回っている。
• 本手法は強力なクロスデータセット一般化を示しており、微調整なしにShanghaiTechからUCF-QNRF や UCF_CC_50 へも良好に一般化している。
• アブレーションスタディにより、行動プールと報酬関数の設計が性能に顕著な影響を与え、完全なLibraNet構成が最良の結果をもたらすことが確認された。
• 意思決定プロセスの可視化により、LibraNetが効果的にスケールの秤量を実装していることが確認された：真の数に近づくにつれて、大まかな重み調整から段階的に小さな重み調整に移行している。
• TasselNetv2 にLibraNetをプラグインとして統合することで、著しく性能が向上した。これは本手法の互換性と有効性を証明している。
• 失敗事例から、長尾データ分布（過小推定を引き起こす）、ぼやけ、照明不良といった極端な条件下での限界が明らかになった。今後の改善のための領域が示された。