[論文レビュー] End-to-end Learning Improves Static Object Geo-localization in Monocular Video

Mohamed Chaabane, Lionel Gueguen+3 more|arXiv (Cornell University)|Apr 10, 2020

Advanced Neural Network Applications参考文献 36被引用数 6

ひとこと要約

本稿では、モノクロナルビデオにおける静的オブジェクト（例：信号機）の5次元地理的局所化を、ポーズ推定、フレーム間オブジェクトマッチング、マルチオブジェクトトラッキングを統合的に最適化することで向上させるエンドツーエンドのディープラーニングシステムを提案する。本手法は、マルチタスク損失を用いた統合学習により、中央値X/Y誤差が20cm未塔、中央値Z誤差が1.47mに抑えられ、MRFトリアングレーションおよびSSD-ReID-Geoを上回る精度と耐障害性を示し、実世界の自動運転シナリオにおいて優れた性能を発揮する。

ABSTRACT

Accurately estimating the position of static objects, such as traffic lights, from the moving camera of a self-driving car is a challenging problem. In this work, we present a system that improves the localization of static objects by jointly-optimizing the components of the system via learning. Our system is comprised of networks that perform: 1) 5DoF object pose estimation from a single image, 2) association of objects between pairs of frames, and 3) multi-object tracking to produce the final geo-localization of the static objects within the scene. We evaluate our approach using a publicly-available data set, focusing on traffic lights due to data availability. For each component, we compare against contemporary alternatives and show significantly-improved performance. We also show that the end-to-end system performance is further improved via joint-training of the constituent models.

研究の動機と目的

• 移動する車両のモノクロナルビデオから、静的交通オブジェクト（例：信号機）の正確でリアルタイムな地理的局所化を実現すること。
• オブジェクト検出、ポーズ推定、トラッキングを分離したモジュラーなシステムの限界を克服し、誤差伝搬による性能劣化を避けること。
• エンドツーエンド学習により、ポーズ回帰、オブジェクトマッチング、トラッキングの統合最適化を可能にし、システム全体の精度を向上させること。
• 視覚的特徴と幾何的特徴を統合学習で組み合わせることで、複雑な都市環境における耐障害性と精度が向上することを示すこと。
• データの可用性に依存するが、信号機に限らず、他の小型静的オブジェクト（例：標識）に対してもスケーラブルなフレームワークを提供すること。

提案手法

• 2ストリームネットワークアーキテクチャを採用し、地理的位置情報が付与されたRGBビデオフレームのペアを入力として、5次元オブジェクトポーズ（3次元位置＋2次元回転）を推定する。
• 単一画像からの5次元ポーズ回帰用に、外観と幾何的特徴を併用した新規なネットワークを設計し、精度を向上させる。
• ポーズネットワークから得られる幾何的制約と、マルチスケールの外観特徴を融合するクロス画像オブジェクトマッチングモジュールを設計し、対応関係の正確性を向上させる。
• ハンガリアンアルゴリズムを用いたデータアソシエーションにより、ポーズおよびマッチングネットワークをマルチオブジェクトトラッキングフレームワークに統合し、フレーム間での持続的トラッキングを実現する。
• ポーズ回帰、マッチング、トラッキングの各目的を統合的に最適化するマルチタスク損失関数を用いて、システム全体をエンドツーエンドで学習する。
• 既存データセットから事前に推定された自己運動（カメラポーズ）を活用し、LiDARやGPSを入力とせずとも、正確なトリアングレーションと地理的局所化を実現する。

実験結果

リサーチクエスチョン

• RQ1 ポーズ推定、オブジェクトマッチング、マルチオブジェクトトラッキングのエンドツーエンド統合最適化は、分離型システムに比べ、5次元地理的局所化の精度を向上させることができるか？
• RQ2 学習されたマッチングモジュールで外観と幾何的特徴を統合すると、ビデオフレーム間の静的オブジェクトトラッキング性能にどのような影響を与えるか？
• RQ3 マルチタスク損失関数による統合学習は、個々のコンponentの学習と比較して、X、Y、Z軸における局所化誤差をどの程度低減するか？
• RQ4 マハラノビス距離と非等方的しきい値（x=0.4m, y=0.39m, z=3.84m）を用いた実際のシナリオにおいて、本手法はMRFトリアングレーションおよびSSD-ReID-Geoに比べてどの程度優れた性能を示すか？
• RQ5 限られた深度情報と高いオブジェクト密度を伴う実世界のモノクロナルビデオに適用した場合でも、本システムは高い精度を維持できるか？

主な発見

• 提案されたエンドツーエンドシステムは、X軸で中央値0.16m、Y軸で中央値0.15mの変位誤差を達成し、MRFトリアングレーション（0.24mおよび0.27m）およびSSD-ReID-Geo（0.51mおよび0.45m）を顕著に上回る。
• Z軸の中央値深度誤差は1.47mであり、側方誤差が深度誤差よりも重要である実世界の応用においては、許容範囲内に収まっている。
• 非等方的しきい値（x=0.4m, y=0.39m, z=3.84m）を用いたマハラノビス距離を適用した場合、MRFトリアングレーションおよびSSD-ReID-Geoに比べ、特に側方位置決めにおいて高い正確性と再現率を達成した。
• 20°以内の姿勢一致要件を課しても、F1スコアの低下はわずかに抑えられ、5次元ポーズ推定の耐障害性が示された。
• マルチタスク損失関数による統合学習は、コンponentレベル（ポーズ回帰、マッチング）の性能向上とシステム全体の地理的局所化精度向上の両方に顕著な効果を示した。
• フレームペアに制限された状況においても、SSD-ReID-Geoを上回った。これは、独立したフレームペア処理に比べ、統合最適化とより優れた特徴学習の利点が顕著に示されたことを示している。