[論文レビュー] Viewpoint Adaptation for Rigid Object Detection

Patrick Wang, Kenneth D. Morton+2 more|arXiv (Cornell University)|Feb 24, 2017

Video Surveillance and Tracking Methods参考文献 18被引用数 3

ひとこと要約

本稿では、再訓練を必要とせずに、任意の新たな視点に一般化可能な単一視点オブジェクト検出器を実現する視点適応手法を提案する。カメラポーズ情報を利用して特徴空間変換を推定することで、線形および複雑な検出器（例：HOG/SVM、ACF）をリアルタイムで適応可能にし、特に中程度の視点誤差において顕著な検出性能向上を達成するとともに、画像歪み処理手法と比較して計算コストを低減する。

ABSTRACT

An object detector performs suboptimally when applied to image data taken from a viewpoint different from the one with which it was trained. In this paper, we present a viewpoint adaptation algorithm that allows a trained single-view object detector to be adapted to a new, distinct viewpoint. We first illustrate how a feature space transformation can be inferred from a known homography between the source and target viewpoints. Second, we show that a variety of trained classifiers can be modified to behave as if that transformation were applied to each testing instance. The proposed algorithm is evaluated on a person detection task using images from the PETS 2007 and CAVIAR datasets, as well as from a new synthetic multi-view person detection dataset. It yields substantial performance improvements when adapting single-view person detectors to new viewpoints, and simultaneously reduces computational complexity. This work has the potential to improve detection performance for cameras viewing objects from arbitrary viewpoints, while simplifying data collection and feature extraction.

研究の動機と目的

• 異なるカメラ視点からの画像に適用した際の単一視点オブジェクト検出器の性能低下を解消すること。
• ターゲットドメインのトレーニングデータを必要とせずに、訓練済みの検出器を新たな視点に適応可能にすること。
• 画像レベルでの処理ではなく分類器空間での特徴変換により、画像歪み処理手法と比較して計算コストを低減すること。
• カメラポーズ推定の誤差に対して頑健な視点適応フレームワークの開発。
• 任意のカメラポーズを持つ監視やロボット工学のシナリオに、既存の検出器の適用範囲を拡張すること。

提案手法

• カメラポーズと床面幾何を用いて、ソース視点とターゲット視点間の既知のホモグラフィーから特徴空間変換を推定する。
• 各テストインスタンスの特徴ベクトルに線形変換を適用し、特徴空間内で透視歪み効果を効果的に再現する。
• 訓練済み分類器（例：SVM、ACF）を変更して、推論時に視点変換を暗黙的に適用し、各ウィンドウの特徴再計算を回避する。
• カメラポーズを用いて検出探索空間を制限することで、候補ウィンドウの数を減らし、実行時間の効率を向上させる。
• オブジェクト幾何を平面仮定によりモデル化し、3次元から2次元への透視投影を正確に表現することで、視点モデル化を可能にする。
• 反復的最適化を回避する閉形式解を用いて特徴変換を実装し、リアルタイム性能を保証する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインのデータを再トレーニングせずに、単一視点オブジェクト検出器を新たな視点に効果的に適応できるか？
• RQ2 視点適応検出器の性能は、画像歪み処理手法および未適応検出器と比較して、精度と速度の面でどのように異なるか？
• RQ3 カメラ視点推定の誤差（例：高度、方位）に対して、この適応手法はどの程度頑健か？
• RQ4 本手法は、ACFのような複雑な検出器や、将来的にはディープラーニングモデルへも一般化可能か？
• RQ5 標準的な検出パイプラインと比較して、適応手法の計算オーバーヘッドはどの程度か？

主な発見

• CAVIARデータセット上で、視点適応HOG/SVMおよびACF検出器はそれぞれ11.8 fpsおよび10.7 fpsのフレームレートを達成し、画像歪み処理手法（0.04–0.07 fps）と比較して100倍以上高速であった。
• 推定されたターゲット高度が真の高度から0.31ラジアン（約18°）以内の場合、未適応検出器と比較して、10⁻² fppwにおけるミス率が顕著に改善された。
• 推定高度が1.1ラジアンを超えると、性能が急速に低下し、未適応検出器のベースラインを下回った。これは、有効な適応の実用的上限を示している。
• カメラポーズを用いて検出ウィンドウの探索空間を暗黙的に制限することで、計算複雑度を低減し、各ウィンドウの特徴再抽出を回避した。
• 視点推定誤差に対しても適応フレームワークは頑健であり、カメラ高度のやや誤った推定に対しても性能向上を維持した。
• 本手法は、ターゲットドメインのトレーニングデータを一切必要とせず、マルチビューの人物検出ベンチマークで最先端の検出性能を達成した。