[論文レビュー] Understanding Traffic Density from Large-Scale Web Camera Data

Shanghang Zhang, Guanhang Wu+2 more|arXiv (Cornell University)|Mar 17, 2017

Video Surveillance and Tracking Methods参考文献 25被引用数 13

ひとこと要約

本稿では、個々の車両の検出や追跡を伴わず、低解像度で高オクルージョン、大規模な画角を持つウェブカメラ動画から車両密度を推定する2つの手法——最適化ベースのランク制約回帰（OPT-RC）とマルチタスク学習を組み合わせた完全畳み込みニューラルネットワーク（FCN-MT）——を提案する。FCN-MTはTRANCOSデータセットにおいて平均絶対誤差（MAE）を5.31にまで低減し、最先端のベースラインを著しく上回る性能を達成した。

ABSTRACT

Understanding traffic density from large-scale web camera (webcam) videos is a challenging problem because such videos have low spatial and temporal resolution, high occlusion and large perspective. To deeply understand traffic density, we explore both deep learning based and optimization based methods. To avoid individual vehicle detection and tracking, both methods map the image into vehicle density map, one based on rank constrained regression and the other one based on fully convolution networks (FCN). The regression based method learns different weights for different blocks in the image to increase freedom degrees of weights and embed perspective information. The FCN based method jointly estimates vehicle density map and vehicle count with a residual learning framework to perform end-to-end dense prediction, allowing arbitrary image resolution, and adapting to different vehicle scales and perspectives. We analyze and compare both methods, and get insights from optimization based method to improve deep model. Since existing datasets do not cover all the challenges in our work, we collected and labelled a large-scale traffic video dataset, containing 60 million frames from 212 webcams. Both methods are extensively evaluated and compared on different counting tasks and datasets. FCN based method significantly reduces the mean absolute error from 10.99 to 5.31 on the public dataset TRANCOS compared with the state-of-the-art baseline.

研究の動機と目的

• 低解像度、高オクルージョン、大規模な画角歪みを伴う大規模なウェブカメラ動画から交通密度を推定する課題に対処すること。
• 劣悪な動画品質や低フレームレートの条件下で失敗する検出ベースおよび運動ベースの手法の限界を克服すること。
• 個々の車両の検出や追跡を回避し、画像特徴からの直接的な密度推定に注力する包括的アプローチを構築すること。
• 6000万フレームと46,796台のアノテート済み車両を含む大規模な実世界のウェブカメラデータセットを構築し、評価とベンチマーク支援を可能にすること。
• 最適化ベースの手法からの知見を抽出することで、画角およびスケール変動に強い堅牢な深層学習モデルを改善すること。

提案手法

• OPT-RCは、画像ブロックごとに異なる重みを学習するランク制約付き回帰を用い、道路の幾何構造を埋め込み、画角に起因する誤差を低減する。
• 背景差分法とSIFT特徴量を適用し、その後、低ランク制約を用いて空間的一致性を強制することで、ブロックレベルの特徴量を車両密度にマッピングする。
• FCN-MTは、手作業による特徴量の代わりに完全畳み込みニューラルネットワークを採用し、密度マップとフォアグラウンドマスクのエンドツーエンド学習を可能にする。
• 残差学習フレームワークを用いて、車両密度と個数を同時に推定し、任意の入力解像度に対応可能にし、スケール変化に適応可能にする。
• デコンボリューション層を用いて特徴マップをアップサンプリングし、入力解像度と一致する高密度予測出力を得る。
• 両手法とも、オブジェクトレベルの検出や追跡を回避し、車両密度への画像レベルの回帰に注力する。

実験結果

リサーチクエスチョン

• RQ1 ランク制約付き最適化フレームワークは、大規模な画角歪みを伴う低解像度・高オクルージョンのウェブカメラ動画から、交通密度を効果的にモデル化できるか？
• RQ2 マルチタスク学習を組み合わせたエンドツーエンドの深層学習は、従来の最適化ベースの手法と比較して、どのように車両密度推定を改善するか？
• RQ3 最適化ベースの手法（OPT-RC）からの知見は、深層学習モデル（FCN-MT）の設計および性能向上にどの程度寄与できるか？
• RQ4 提案手法は、多様な実世界のウェブカメラシーンにおける車両のスケール、画角、画像品質の変動に対してどの程度頑健か？
• RQ5 提案手法は交通計数を越えて、群衆計数などの他の計数タスクにも一般化可能か？

主な発見

• FCN-MTはTRANCOSデータセットにおいて平均絶対誤差（MAE）を5.31にまで低減し、最先端のベースライン（MAE = 10.99）を著しく上回った。
• FCN-MTモデルは、単一タスクのFCN-STおよびすべてのベースライン手法を上回り、密度推定におけるマルチタスク学習の有効性を示した。
• OPT-RCは競争力のある性能（MAE = 12.41）を達成し、深層学習でないベースラインを上回り、画角およびオクルージョンに強い堅牢性を裏付けた。
• UCSD群衆計数データセットでは、FCN-MTがMAE 1.67を達成し、クロスシーンDNN（MAE = 1.60）などの最先端の深層学習手法と同等の性能を示した。
• FCN-MTモデルは、背景差分法に依存しないため、OPT-RCとは異なり、判別的な階層的特徴を学習することで背景差分法の必要性を排除した。
• チェッカーパattersのようなわずかなアーティファクトが見られるものの、FCN-MTはさまざまな計数タスクおよびカメラ設定に良好に一般化された。