[論文レビュー] Cross-Modal Collaborative Representation Learning and a Large-Scale RGBT Benchmark for Crowd Counting

Lingbo Liu, Jiaqi Chen+4 more|arXiv (Cornell University)|Dec 8, 2020

Video Surveillance and Tracking Methods参考文献 60被引用数 8

ひとこと要約

本論文は、光学画像と赤外線画像を統合することでRGBT集団数え上げを向上させるため、情報集約・分布モジュール（IADM）を備えたクロスモodalな協調表現学習フレームワークを提案する。本手法は、新たに導入された大規模なRGBT-CCベンチマーク（2,030対の画像、138,389件のアノテーション）およびShanghaiTechRGBDデータセットの両方で最先端の性能を達成し、マルチモーダルな設定において優れた精度と汎用性を示している。

ABSTRACT

Crowd counting is a fundamental yet challenging task, which desires rich information to generate pixel-wise crowd density maps. However, most previous methods only used the limited information of RGB images and cannot well discover potential pedestrians in unconstrained scenarios. In this work, we find that incorporating optical and thermal information can greatly help to recognize pedestrians. To promote future researches in this field, we introduce a large-scale RGBT Crowd Counting (RGBT-CC) benchmark, which contains 2,030 pairs of RGB-thermal images with 138,389 annotated people. Furthermore, to facilitate the multimodal crowd counting, we propose a cross-modal collaborative representation learning framework, which consists of multiple modality-specific branches, a modality-shared branch, and an Information Aggregation-Distribution Module (IADM) to capture the complementary information of different modalities fully. Specifically, our IADM incorporates two collaborative information transfers to dynamically enhance the modality-shared and modality-specific representations with a dual information propagation mechanism. Extensive experiments conducted on the RGBT-CC benchmark demonstrate the effectiveness of our framework for RGBT crowd counting. Moreover, the proposed approach is universal for multimodal crowd counting and is also capable to achieve superior performance on the ShanghaiTechRGBD dataset. Finally, our source code and benchmark are released at {\url{http://lingboliu.com/RGBT_Crowd_Counting.html}}.

研究の動機と目的

• RGB画像のみでは低照度環境下で歩行者を検出できないという、制約のない低照度環境における集団数え上げの課題に取り組むこと。
• 光学（RGB）および赤外線画像の相補的な強みを活用し、頑健な集団密度推定を実現すること。
• マルチモーダルな集団数え上げに効果的にクロスモーダル表現を捉える、汎用的で即挿入可能なフレームワークを開発すること。
• 今後の研究のための、最初の大規模で多様性に富み、かつ挑戦的なRGBT集団数え上げベンチマークを確立すること。

提案手法

• フレームワークは、複数のモーダル特徴抽出ブランチ、モーダル共有ブランチ、および情報集約・分布モジュール（IADM）を採用し、階層的なクロスモーダル表現を学習する。
• IADMは二重情報伝播メカニズムを用いる：情報集約伝達は、すべてのモーダル固有特徴からの文脈的情報を用いてモーダル共有特徴を強化する。
• IADMには、強化されたモーダル共有表現を用いて各モーダル固有特徴を精緻化する情報分布伝達も含まれる。
• IADMは複数の層にまたがって統合され、モーダル固有特徴と共有特徴の階層的統合と相互強化を可能にする。
• フレームワークは即挿入モジュールとして設計されており、さまざまなバックボーンネットワーク（例：CSRNet、MCNN、SANet）と統合可能で、エンド・ツー・エンドの学習が可能である。
• IADMでは、複数の受容野を持つ文脈特徴を抽出するために、3段階のピラミッドプーリング層が用いられる。

実験結果

リサーチクエスチョン

• RQ1 RGB画像と赤外線画像の統合により、困難な現実世界のシナリオにおける集団数え上げ性能が顕著に向上するか？
• RQ2 深層学習フレームワーク内で、光学モーダルと赤外線モーダルの間の相補的情報を効果的に捉え、活用できるか？
• RQ3 クロスモーダル協調表現学習に基づく統一フレームワークは、RGBTやRGBDなどの異なるマルチモーダル設定に一般化可能か？
• RQ4 モーダル間で動的かつ双方向の情報フローを実現するためのモジュラーコンponent（IADM）の最適設計は何か？
• RQ5 大規模で現実世界のベンチマークにおいて、本手法は最先端モデルと比較して精度と耐障害性に優れているか？

主な発見

• 提案されたCSRNet+IADMモデルは、ShanghaiTechRGBDベンチマークでGAME(0) 4.38、RMSE 7.05という新たな最先端性能を達成した。
• 提案フレームワークのすべての実装例（例：MCNN+IADM、SANet+IADM）は、RGBT-CCベンチマークにおいて、それぞれのバックボーンネットワークおよび比較対象の最先端モデルを上回った。
• MCNNおよびSANetバックボーンに適用した場合、IADMモジュールはベースライン「Early Fusion」モデルに比べてRMSEで相対的に18.9%の向上を示した。
• アブレーションスタディの結果、IADMの二重情報伝播メカニズムが不可欠であることが確認され、3段階のピラミッドプーリング層を用いた場合に最高の性能が得られた。
• フレームワークは汎用的である：RGBTデータだけでなくRGBDデータに対しても優れた結果を達成しており、その汎用性を裏付けた。
• 2,030対の画像と138,389件のアノテート済み歩行者を含む大規模なRGBT-CCベンチマークは、コードとともに公開され、今後の研究を支援する。