[論文レビュー] Small-scale Pedestrian Detection Based on Somatic Topology Localization and Temporal Feature Aggregation

Tao Song, Leiyu Sun+3 more|arXiv (Cornell University)|Jul 4, 2018

Video Surveillance and Tracking Methods参考文献 27被引用数 52

ひとこと要約

この論文は、時間的特徴量の集約とMRFベースの後処理を備えた体感的トップロジーライン（TLL）ローカライゼーションネットワークを提案し、多尺度の歩行者を検出し、Caltechで最先端、CityPersonsで競合的、KITTIの注釈バイアスを露呈する。

ABSTRACT

A critical issue in pedestrian detection is to detect small-scale objects that will introduce feeble contrast and motion blur in images and videos, which in our opinion should partially resort to deep-rooted annotation bias. Motivated by this, we propose a novel method integrated with somatic topological line localization (TLL) and temporal feature aggregation for detecting multi-scale pedestrians, which works particularly well with small-scale pedestrians that are relatively far from the camera. Moreover, a post-processing scheme based on Markov Random Field (MRF) is introduced to eliminate ambiguities in occlusion cases. Applying with these methodologies comprehensively, we achieve best detection performance on Caltech benchmark and improve performance of small-scale objects significantly (miss rate decreases from 74.53% to 60.79%). Beyond this, we also achieve competitive performance on CityPersons dataset and show the existence of annotation bias in KITTI dataset.

研究の動機と目的

• 小さなスケールの歩行者検出を、境界ボックス注釈のバイアスを減らすことで改善することを動機付ける。
• 歩行者中心の位置を定位するためのトポロジカルラインベースの注釈と回帰フレームワークを提案する。
• 動画シーケンスを活用するために時間的特徴量の集約を組み込み、検出を改善する。
• 近傍の候補ペア間の整合性を強制することで遮蔽による曖昧さを緩和するMRFベースの後処理を導入する。
• Caltechで最先端の性能を示し、CityPersonsでも競争力のある結果を示し、データセットの注釈バイアスを分析する。

提案手法

• 各歩行者を体感的トップロジーライン（上端-下端軸）と、上点・下点用のガウス頂点マップで表現する。
• ResNet-50 に基づく完全畳み込みネットワークを構築し、マルチスケール特徴に across して上/下頂点の信頼度とそれらを結ぶエッジ（リンク）マップを回帰する。
• 予測されたエッジ信頼度を用いた候補の上-下ペアに対して二部グラフマッチング（Hungarian アルゴリズム）を適用する。
• MRFベースの後処理を導入し、近傍の候補ペア間の近傍一貫性を強制することで遮蔽による曖昧さを解消する。
• Conv-LSTM を介して時間情報を統合し、フレーム間で特徴を伝播させてビデオ検出を改善する。

実験結果

リサーチクエスチョン

• RQ1 体のトップオロジーライン表現は、境界ボックス注釈による曖昧さを低減し、小規模な歩行者検出を改善できるか。
• RQ2 多スケール表現と時間的特徴量の集約は、小さく遮蔽された歩行者の検出性能にどのような影響を与えるか。
• RQ3 MRFベースの後処理は、混雑/遮蔽条件下で結合精度を改善できるか。
• RQ4 TLLとConv-LSTM の組み合わせは、ビデオベースの歩行者検出にどのような影響を与えるか。

主な発見

手法/MR(%)	妥当性	全体	近距離	中距離	遠距離
RPN+BF [3]	9.58	64.66	2.26	53.93	100
SA-FastRCNN [4]	9.68	62.59	0.00	51.83	100
MS-CNN [5]	9.95	60.65	2.60	49.13	97.23
F-DNN+SS [20]	8.18	50.29	2.82	33.15	77.37
UDN+SS [37]	11.52	64.81	2.08	53.75	100
SDS-RCNN [23]	7.36	61.50	2.15	50.88	100
ADM [24]	8.64	42.27	0.41	30.82	74.53
TLL	8.45	39.99	0.67	26.25	68.03
TLL(MRF)	8.01	39.12	0.67	25.55	67.69
TLL(MRF)+FGFA [27]	7.92	38.58	0.99	24.39	63.28
TLL(MRF)+LSTM	7.40	37.62	0.72	22.92	60.79

• TLL は Caltech で最先端に迫るかそれを上回る結果を達成し、特に小尺度物体での欠落率が低減される。
• MRFベースの後処理は遮蔽に起因する誤結合を減少させ、混雑した場面や遮蔽での指標を改善する。
• Conv-LSTM による時間特徴量の集約は、極小サイズやフォーカスが外れた歩行者に対して時間的手がかりをフレーム間で伝播させることで顕著な向上をもたらす。
• CityPersons では、TLL + MRF は特に重度の遮蔽シナリオで強い結果を示す。
• 本研究は境界ボックスデータセット（例：KITTI）における注釈バイアスを浮き彫りにし、線ベースの注釈が小さな物体の定位をより一貫させることを示している。
• 定量的な結果は、Caltech の評価プロトコルで TLL(MRF)+LSTM が報告された方法の中で最良の単発性能を達成していることを示す。