[論文レビュー] Simultaneous multi-view instance detection with learned geometric soft-constraints

Ahmed Nassar, Sébastien Lefèvre+1 more|arXiv (Cornell University)|Jul 25, 2019

Video Surveillance and Tracking Methods参考文献 43被引用数 28

ひとこと要約

本論文は、ノイズの多いカメラポーズを弱い教師信号として用い、幾何的ソフト制約と外観特徴を同時に学習することで、ストリートレベルのパノラマ写真における同時的マルチビューインスタンス検出と再識別を実現するエンドツーエンドのディーブラーニング手法を提案する。この手法は、検出精度と地理的局所化性能を顕著に向上させ、パサデナツリーデータセットでは3.13mの平均絶対誤差を達成し、Mapillaryでは88%の再識別mAPを達成しており、単一ビューのベースラインを上回っている。

ABSTRACT

We propose to jointly learn multi-view geometry and warping between views of the same object instances for robust cross-view object detection. What makes multi-view object instance detection difficult are strong changes in viewpoint, lighting conditions, high similarity of neighbouring objects, and strong variability in scale. By turning object detection and instance re-identification in different views into a joint learning task, we are able to incorporate both image appearance and geometric soft constraints into a single, multi-view detection process that is learnable end-to-end. We validate our method on a new, large data set of street-level panoramas of urban objects and show superior performance compared to various baselines. Our contribution is threefold: a large-scale, publicly available data set for multi-view instance detection and re-identification; an annotation tool custom-tailored for multi-view instance detection; and a novel, holistic multi-view instance detection and re-identification method that jointly models geometry and appearance across views.

研究の動機と目的

• 視点の大きな変化、照明の変動、スケールの違いを伴うストリートレベルのパノラマ写真において、頑健なクロスビューインスタンス検出と再識別を実現すること。
• 同じオブジェクトインスタンスの複数ビュー間の幾何構造とワープ関数を、ノイズの多い相対的カメラポーズを弱い教師信号として用いて同時に学習すること。
• マルチビューインスタンス検出と再識別のための大規模かつ公開可能なデータセットとカスタムアノテーションツールの開発。
• 複数のビューにおけるカメラポーズとオブジェクトインスタンス外観の同時分布をモデル化することで、オブジェクト検出と地理的局所化の精度を向上させること。

提案手法

• 本手法は、カメラポーズとオブジェクト外観に基づいて、ビュー間のワープ関数を予測する「プロジェクションネット」を統合したマルチビュー検出フレームワークを採用する。
• 地理的座標の回帰を可能にするために、「ジオレグレッションネット」を導入し、幾何的ソフト制約を含めたエンドツーエンド学習を実現する。
• 検出、再識別、回帰の損失を統合した統一された損失関数を用いて、オブジェクト検出、インスタンス再識別、地理的局所化を同時に最適化する。
• ネットワークの注目メカニズムが一貫したポーズ-インスタンス対応を学習することで、類似オブジェクトのマッチングの曖昧さを低減する。
• 再識別には、学習された類似度メトリクスを用いて複数ビュー間の特徴を比較するシアン型アーキテクチャを採用する。
• 地理的位置情報が付与されたストリートレベルパノラマ写真の新しいデータセット上でエンドツーエンド学習を実施し、実世界の歪みを再現するためのデータ拡張を適用する。

実験結果

リサーチクエスチョン

• RQ1 幾何構造と外観の共同学習が、挑戦的なストリートレベルパノラマ環境におけるマルチビューインスタンス検出と再識別を向上させることができるか？
• RQ2 ノイズの多い相対的カメラポーズを弱い教師信号として組み込むことで、検出と再識別性能がどのように向上するか？
• RQ3 ワープ関数と幾何的制約のエンドツーエンド学習が、誤検出をどれほど低減し、地理的局所化精度を向上させるか？
• RQ4 本手法は、短基線の前方カメラを搭載した異なるデータ収集設計にも一般化可能か？

主な発見

• パサデナツリーデータセットでは、本手法がオブジェクト検出で68.2%のmAP、インスタンス再識別で73.1%のmAPを達成し、単一ビューのベースラインを顕著に上回った。
• Mapillaryデータセットでは、検出で90.2%のmAP、再識別で88.2%のmAPを達成し、異なるデータ収集設定間でも強力な一般化性能を示した。
• パサデナデータセットにおける地理的局所化の平均絶対誤差（MAE）は3.13メートルにまで低下し、単一ビュー投影法の77.41メートルと比較して顕著に改善された。同様にMapillaryでは4.36メートルにまで低下した（単一ビューが83.27メートル）。
• アブレーションスタディの結果、カメラポーズと外観の同時分布を学習することは、類似インスタンスの区別を明確にすることで再識別性能を顕著に向上させることを確認した。
• 本手法は、強い透視変形、スケールの変動、パノラマ接合による画像アーチファクトといった困難な状況に対しても効果的に対処できた。