[論文レビュー] Learning Cross-Modal Deep Representations for Robust Pedestrian Detection

Dan Xu, Wanli Ouyang+3 more|arXiv (Cornell University)|Apr 8, 2017

Video Surveillance and Tracking Methods参考文献 55被引用数 23

ひとこと要約

本論文は、赤外線画像に人物のアノテーションを必要とせず、明るさに依存しない特徴を学習するため、RGBと赤外線画像のペアを活用するクロスモーダル深層学習フレームワークを提案する。教師なしでRGBから赤外線特徴へマッピングする領域再構成ネットワーク（RRN）を訓練し、その表現をRGBベースのマルチスケール検出ネットワーク（MDN）に転移することで、テスト時にはRGB入力のみで動作する。KAISTデータセットでは最先端の性能を達成し、Caltechでも競争力のある結果を示した。

ABSTRACT

This paper presents a novel method for detecting pedestrians under adverse illumination conditions. Our approach relies on a novel cross-modality learning framework and it is based on two main phases. First, given a multimodal dataset, a deep convolutional network is employed to learn a non-linear mapping, modeling the relations between RGB and thermal data. Then, the learned feature representations are transferred to a second deep network, which receives as input an RGB image and outputs the detection results. In this way, features which are both discriminative and robust to bad illumination conditions are learned. Importantly, at test time, only the second pipeline is considered and no thermal data are required. Our extensive evaluation demonstrates that the proposed approach outperforms the state-of- the-art on the challenging KAIST multispectral pedestrian dataset and it is competitive with previous methods on the popular Caltech dataset.

研究の動機と目的

• 影、低照度、ごみだらけの背景などの悪条件下で、RGBのみの手法が失敗するのを防ぐ。
• 大規模かつマルチモーダルでアノテートされたデータセットの不足を補うために、赤外線モダリティにおける人物のバウンディングボックスアノテーションを必要としない教師なしクロスモーダル学習手法を開発する。
• テスト時にRGBデータのみを必要とすることで、監視やロボットシステムへの実装を可能にし、ハードウェアコストを削減する。
• 事前学習段階で赤外線データを自己教師信号として活用することで、杭や木のようなハードネガティブサンプルに対しても特徴の識別性を向上させる。

提案手法

• 教師なしでRGB画像から対応する赤外線画像を再構成するため、深層畳み込みオートエンコーダーである領域再構成ネットワーク（RRN）を訓練し、モダリティ間の非線形マッピングを学習する。
• 事前学習済みのRRNを用いてマルチスケール検出ネットワーク（MDN）を初期化し、マルチスケール特徴抽出を用いてRGB画像上で人物検出を実行するように微調整する。
• RRNで学習したクロスモーダル表現をMDNに転送することで、照度変動に強い特徴を検出ネットワークが学習できるようにする。
• 赤外線データは訓練時でのみ使用され、最終的な検出器は推論時のみRGB入力で動作する。
• ACF（エッジボックス）による領域候補を用い、RGBデータ上で標準的な検出損失関数を用いてMDNをエンドツーエンドで訓練する。
• 監視システムから得られる大規模かつアノテートされていないRGB-赤外線画像ペアを活用してモデルを事前学習し、高価な人手によるアノテーションに依存するのを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 RGBと赤外線画像ペアからの教師なしクロスモーダル学習は、劣悪な照度条件下での歩行者検出の頑健性を向上させることができるか？
• RQ2 赤外線モダリティで事前学習したネットワークから転送される知識は、RGBのみのテストデータ上でどの程度検出性能を向上させるか？
• RQ3 KAISTやCaltechなどのベンチマークデータセットにおいて、特に困難な照度条件下で、本手法は最先端のRGBのみの歩行者検出器を上回るか？
• RQ4 赤外線ドメインにおける人物アノテーションが不要であるという点で、本フレームワークはアノテーション負荷を著しく軽減できるか？
• RQ5 性能向上はクロスモーダル表現学習によるものか、単にアンサンブルやデータオーグメンテーションによるものか？

主な発見

• Caltech-Allデータセットでは、マススレートが64.01%に達し、新たな最先端の結果を樹立した。
• KAISTマルチスペクトル歩行者データセットでは、すべての先行研究を上回り、悪条件下での優れた頑健性を示した。
• Caltech-Reasonableでは10.69%のマススレートを達成し、既存の最良手法と同等の性能を示した。
• クロスモーダル事前学習による性能向上は顕著であり、特に低照度条件下では赤外線データが重要な自己教師信号を提供する。
• 計算効率が高く、テスト時には1枚の画像を0.59秒で処理でき、先行の最先端手法と同等の性能を示した。
• アブレーションスタディにより、性能向上はバッチサイズの変更やデータシャッフルによるものではなく、クロスモーダル特徴学習によるものであることが確認された。異なるバッチサイズでは、提案手法CMT-CNNより低い性能が得られた。