[論文レビュー] Exploring Multi-Branch and High-Level Semantic Networks for Improving Pedestrian Detection

Jiale Cao, Yanwei Pang+1 more|arXiv (Cornell University)|Apr 3, 2018

Video Surveillance and Tracking Methods参考文献 58被引用数 6

ひとこと要約

本稿では、ベースCNNを同じ深さを持つ並列ブランチに分割することで、特徴マップ間の高レベルの意味的整合性を保証する、マルチブランチかつ高レベル意味的特徴ネットワーク（MHN）を提案する。異なる受容 field とスキップ接続を活用することで、特に小さな歩行者の検出性能が向上し、パラメータ効率を維持する。MHNはKITTI、Caltech、Citypersons、COCOベンチマークで最先端の性能を達成した。

ABSTRACT

To better detect pedestrians of various scales, deep multi-scale methods usually detect pedestrians of different scales by different in-network layers. However, the semantic levels of features from different layers are usually inconsistent. In this paper, we propose a multi-branch and high-level semantic network by gradually splitting a base network into multiple different branches. As a result, the different branches have the same depth and the output features of different branches have similarly high-level semantics. Due to the difference of receptive fields, the different branches are suitable to detect pedestrians of different scales. Meanwhile, the multi-branch network does not introduce additional parameters by sharing convolutional weights of different branches. To further improve detection performance, skip-layer connections among different branches are used to add context to the branch of relatively small receptive filed, and dilated convolution is incorporated into part branches to enlarge the resolutions of output feature maps. When they are embedded into Faster RCNN architecture, the weighted scores of proposal generation network and proposal classification network are further proposed. Experiments on KITTI dataset, Caltech pedestrian dataset, and Citypersons dataset demonstrate the effectiveness of proposed method. On these pedestrian datasets, the proposed method achieves state-of-the-art detection performance. Moreover, experiments on COCO benchmark show the proposed method is also suitable for general object detection.

研究の動機と目的

• 歩行者検出のための既存の特徴ピラミッドネットワークにおける特徴マップ間の意味的レベルの不一致を是正すること。
• より深いブランチからの文脈的情報を高解像度特徴に統合することで、小スケールの歩行者検出性能を向上させること。
• マルチブランチアーキテクチャにおいて並列ブランチ間で畳み込み重みを共有することで、パラメータ効率を維持すること。
• COCOベンチマークでの評価を通じて、一般物体検出にこの手法を拡張すること。
• 検出パイプラインにおける領域提案ネットワーク（RPN）およびFast R-CNN分類ヘッドの提案生成と分類をさらに向上させるために、Faster R-CNNに重み付きスコアを導入すること。

提案手法

• プーリング層の手前で、ベースCNNを段階的に複数の並列ブランチに分割し、すべてのブランチが同じ深さとなるようにすることで、意味的レベルの類似性を保証する。
• ブランチ間で異なる受容 field を活用することで、さまざまなスケールの歩行者を検出可能とし、より深いブランチでは大きな受容 field を採用する。
• 低解像度・大きな受容 field を持つブランチから、高解像度・小さな受容 field を持つブランチへスキップ接続を適用し、文脈的情報を注入する。
• 部分ブランチに空洞畳み込みを組み込むことで、空間解像度を保持し、特徴表現を強化する。
• Faster R-CNNにMHNおよびMHN-Dを統合する際、領域提案ネットワーク（RPN）およびFast R-CNN分類ヘッドの両方に対して重み付きスコアを導入する。
• KITTI、Caltech、Citypersons、COCOデータセットを用い、detectronフレームワークに従って標準プロトコルに従って学習および評価を行う。

実験結果

リサーチクエスチョン

• RQ1 同じ深さを持つマルチブランチネットワークは、マルチスケールの歩行者検出において、より一貫性のある高レベル意味的特徴を達成できるか？
• RQ2 高受容 field のブランチから低受容 field のブランチへスキップ接続を追加することで、小スケールの歩行者検出性能が向上するか？
• RQ3 部分ブランチに空洞畳み込みを適用することで、パラメータ数を増加させずに空間解像度と検出性能を向上させられるか？
• RQ4 提案されたMHNアーキテクチャは、FPN や MSCNN といった既存の特徴ピラミッド手法を上回る性能を歩行者検出ベンチマークで示せるか？
• RQ5 MHNフレームワークは一般物体検出に拡張可能で、COCO などの大規模ベンチマークでも有効であるか？

主な発見

• KITTIデータセットでは、MHNが76.58%の平均精度（AP）を達成し、FPN（75.42%）およびMSCNN（74.83%）をそれぞれ1.16ポイントおよび1.75ポイント上回った。
• Caltech歩行者データセットでは、MHNが66.76%のAPを達成し、FPN（66.14%）およびMSCNN（65.20%）をそれぞれ0.62ポイントおよび1.56ポイント上回った。
• Citypersonsでは、MHNが37.19%のAPを達成し、FPN（35.91%）およびMSCNN（35.55%）をそれぞれ1.28ポイントおよび1.64ポイント上回った。
• COCO test-devでは、ResNet101バックボーンを用いたMHNが44.1%のAPを達成し、Mask R-CNN（39.8%）を4.3ポイント上回り、小スケール物体検出では5.4%の向上を示した。
• 空洞畳み込みとスキップ接続を組み込んだMHN-Dは、特に小スケール物体に対して性能をさらに向上させ、ResNet101を用いた小スケール歩行者ではFPN比で3.38%のAP向上を達成した。
• Faster R-CNNにおける重み付きスコア化機構により、ResNet50ではCOCOで1.30%のAP向上、ResNet101では1.79%のAP向上を達成し、エンドツーエンド検出における有効性が示された。