[論文レビュー] Re-ranking Object Proposals for Object Detection in Automatic Driving

Zhun Zhong, Mingyi Lei+2 more|arXiv (Cornell University)|May 19, 2016

Advanced Neural Network Applications参考文献 23被引用数 8

ひとこと要約

本論文は、自律走行ドライビングにおけるオブジェクト候補のクラス固有の再ランク付け手法を提案する。セマンティックセグメンテーション、ステレオ深度、文脈的特徴、CNNベースのオブジェクトネス、および低レベルの特徴を活用し、候補の品質を向上させる。構造的SVMを用いてクラス固有の重みを学習することで、特に厳しいIoU閾値下でも顕著に高い再現率を達成し、わずか1,000の候補で最先端の検出性能を実現。ベースラインの5,000候補を上回る性能を発揮する。

ABSTRACT

Object detection often suffers from a plenty of bootless proposals, selecting high quality proposals remains a great challenge. In this paper, we propose a semantic, class-specific approach to re-rank object proposals, which can consistently improve the recall performance even with less proposals. We first extract features for each proposal including semantic segmentation, stereo information, contextual information, CNN-based objectness and low-level cue, and then score them using class-specific weights learnt by Structured SVM. The advantages of the proposed model are twofold: 1) it can be easily merged to existing generators with few computational costs, and 2) it can achieve high recall rate uner strict critical even using less proposals. Experimental evaluation on the KITTI benchmark demonstrates that our approach significantly improves existing popular generators on recall performance. Moreover, in the experiment conducted for object detection, even with 1,500 proposals, our approach can still have higher average precision (AP) than baselines with 5,000 proposals.

研究の動機と目的

• 自律走行ドライビング環境における厳密なIoU基準（例：IoU > 0.7）下でオブジェクト候補手法の再現率が低いという課題に対処する。
• 既存手法のアーキテクチャを変更せずに、オブジェクト候補の品質を向上させる。
• 計算コストを削減するため、顕著に少ない候補数（例：1,000）で高い再現率と検出精度を達成する。
• 複雑なドライビング環境において、クラスに依存しない手法を上回るクラス固有の再ランク付け戦略を導入する。
• 特に挑戦的なオブジェクトカテゴリ（車両、自転車乗り、歩行者）を含むKITTIデータセットを含め、複数のオブジェクト検出ベンチマークで一貫した改善を示す。

提案手法

• 各オブジェクト候補に対して、セマンティックセグメンテーション（Cityscapesで微調整したDeepLabを用いて）、ステレオ視差（ZbontarらのCNN手法を用いて）、文脈的情報、CNNベースのオブジェクトネス（DeepBoxから得たもの）、および低レベルのキューを含むマルチモーダル特徴を抽出する。
• 構造的SVMを用いて、連結された特徴ベクトルに基づいて候補をスコア化するためのクラス固有の重みを学習する。
• 各オブジェクトカテゴリについて、特徴ベクトルと学習済み重みのドット積を計算することで、候補を再ランク付けする。
• 最小限の計算オーバーヘッドで、既存のオブジェクト候補生成器にプラグインとして統合可能である。
• 再ランク付けされた候補を、高速R-CNN検出器の入力として用い、検出性能を評価する。
• 推論速度を最適化し、1コアで1枚あたり0.79秒の処理時間を達成。並列化によりリアルタイム性能の実現が可能。

実験結果

リサーチクエスチョン

• RQ1 クラス固有の再ランク付け戦略は、クラスに依存しない手法と比較して、厳密なIoU閾値（例：IoU > 0.7）下でも顕著に再現率を向上させることができるか？
• RQ2 再ランク付けにより、自律走行ドライビング環境で高い検出精度を維持するための候補数をどの程度削減できるか？
• RQ3 セマンティック、ステレオ、文脈的、CNNベースの特徴を統合することで、異なるオブジェクトカテゴリにおける候補品質にどのような影響を与えるか？
• RQ4 提案手法は、KITTIベンチマークにおいて、3DOP、EdgeBoxes、Selective Searchなどの多様なオブジェクト候補生成器に対して一貫して再現率と平均適合度（AP）を向上させるか？
• RQ5 少ない数の再ランク付け済み候補（例：1,000）が、より多くの数の未ランク候補（例：5,000）を上回る平均適合度（AP）を達成できるか？

主な発見

• Re-3DOPは、1,000の候補で全難易度レベルで車両の90％の再現率を達成し、5,000の候補を用いた3DOPを上回る性能を示した。
• Re-EBは、簡単な難易度レベルで、IoU=0.7の条件下で全3クラス（車両、自転車乗り、歩行者）で80％の再現率を達成し、1,000の候補で実現した。
• Re-3DOPは1,000の候補で平均適合度（AP）88.34％を達成し、5,000の候補を用いた3DOPのAP88.26％をわずかに上回った。
• Re-EBは1,500の候補で76.81％のAPを達成し、5,000の候補を用いたEBの76.62％のAPを上回った。
• Re-SSは500の候補で51.51％のAPを達成し、SSの51.43％のAPと同等の性能を示したが、候補数を4分の1に削減した。
• 可視化結果から、Re-3DOPは3DOPに比べてトップ100の候補における誤検出（偽陽性）をより効果的に削減していることが示された。