[論文レビュー] Taking a Deeper Look at Pedestrians

Jan Hosang, Mohamed Omran+2 more|arXiv (Cornell University)|Jan 23, 2015

Video Surveillance and Tracking Methods被引用数 54

ひとこと要約

この論文は、部品や遮蔽のモデリングといった特別なアーキテクチャ的改造を施さない、標準の畳み込みニューラルネットワーク（CNN）が、CaltechおよびKITTIデータセットにおいて最先端の歩行者検出性能を達成できることを示している。RGB入力と標準的なトレーニングプロトコルのみを用いて、CifarNetのような小型およびAlexNetのような大型のオフザシェルCNNが、先行するCNNベースの検出器を上回り、光流または手作業で特徴を設計した手法と同等またはそれを上回る性能を発揮することを実証している。

ABSTRACT

In this paper we study the use of convolutional neural networks (convnets) for the task of pedestrian detection. Despite their recent diverse successes, convnets historically underperform compared to other pedestrian detectors. We deliberately omit explicitly modelling the problem into the network (e.g. parts or occlusion modelling) and show that we can reach competitive performance without bells and whistles. In a wide range of experiments we analyse small and big convnets, their architectural choices, parameters, and the influence of different training data, including pre-training on surrogate tasks. We present the best convnet detectors on the Caltech and KITTI dataset. On Caltech our convnets reach top performance both for the Caltech1x and Caltech10x training setup. Using additional data at training time our strongest convnet model is competitive even to detectors that use additional data (optical flow) at test time.

研究の動機と目的

• 標準的で改造のない畳み込みニューラルネットワーク（CNN）が、部品や遮蔽の明示的モデリングなしに、歩行者検出で競争力のある性能を達成できるかどうかを調査すること。
• ネットワークの深さ、幅、およびトレーニングデータ量の大きさが歩行者検出の精度に与える影響を評価すること。
• 限定的なラベル付きデータで歩行者検出に与える影響を考慮し、代替タスク（例：ImageNet）で事前学習することで性能が向上するかどうかを同定すること。
• CNNベースの検出パイプラインにおいて、さまざまな提案手法と入力表現（例：RGB対手作業特徴）の有効性を比較すること。
• 標準的なトレーニングデータとテスト時における補助入力なしに、CaltechおよびKITTIベンチマークでCNNベースの歩行者検出器の新しい最先端性能を確立すること。

提案手法

• RGB画像のみを入力として、CifarNet（小型）およびAlexNet（大型）のオフザシェルCNNを歩行者検出用にトレーニングすること。
• CaltechおよびKITTIのテストセットで、標準的な検出指標（対数平均ミス率）を用いて性能を評価すること。
• Caltechで微調整する前にImageNetで事前学習することで、一般化性能を向上させるトランスファー学習を適用すること。
• 選択的サーチとHOG+CSSベースの提案手法を用いて、CNNスコアリング用の候補検出ウィンドウを生成すること。
• 異なるネットワークアーキテクチャ、トレーニングデータのスケール（Caltech1xおよびCaltech10x）、入力タイプ（RGB、YUV、HOGなど）の間で結果を比較すること。
• データオーグメンテーション、学習率スケジューリング、バッチ正則化などの標準的なトレーニング技術を適用し、性能最適化を図ること。

実験結果

リサーチクエスチョン

• RQ1 部品や遮蔽のモデリングを明示的に行わない標準的で特殊化されていないCNNが、歩行者検出で最先端の性能を達成できるか？
• RQ2 トレーニングデータが限られている状況で、ネットワーク容量（例：CifarNet 対 AlexNet）が性能に与える影響はいかほどか？
• RQ3 ImageNetで事前学習することで、Caltechデータセットにおける検出精度がどの程度向上するか？
• RQ4 HOGや勾配といった手作業特徴と比較して、RGB入力のみを用いることで性能が向上するか、悪化するか？
• RQ5 CNNと組み合わせた場合、選択的サーチやHOG+CSSといった異なる提案手法が最終的な検出性能に与える影響は？

主な発見

• CifarNetモデルはCaltech10xテストセットで28.4%の対数平均ミス率を達成し、同じデータでトレーニングされたすべての先行するCNNベースの検出器を上回った。
• AlexNetモデルはCaltech10xで27.5%、Caltech1xで32.4%のミス率を達成し、両方のトレーニング設定で、すべての先行するCNNベースの手法を上回った。
• ImageNetでの事前学習がなくても、AlexNetは競争力のある性能（Caltech1xで32.4%のMR）を発揮しており、最小限のアーキテクチャ的改造で優れた結果が得られることを示している。
• ImageNetでの事前学習は性能を顕著に向上させ、テスト時に光流データを使用しないにもかかわらず、光流を活用する手法と同等またはそれを上回る性能を実現した。
• この研究では、CNNと従来の手法（例：意思決定フォレスト）との性能格差が本質的ではないことが示され、適切なトレーニングとデータを用いれば、標準のCNNがこの格差を埋められることを示している。
• 入力の選択（RGB 対 HOG+勾配）が性能に顕著な影響を与えることが明らかになったが、RGBのみを用いても良好な結果が得られることから、手作業特徴が不可欠であるという考えは疑問視されるべきである。