[論文レビュー] VidLoc: 6-DoF Video-Clip Relocalization.

Ronald Clark, Sen Wang+3 more|arXiv (Cornell University)|Feb 27, 2017

Robotics and Sensor-Based Localization参考文献 21被引用数 21

ひとこと要約

本論文では、時間的滑らかさを活用して6-DoFモノクローラカメラ再局所化の精度を向上させるため、短い動画クリップ（20フレーム）を用いる再帰的ディーブラーニングモデルであるVidLocを提案する。再帰的アーキテクチャを用いて時系列的な動画データをモデル化することで、単一画像ベースラインと比較して1フレームあたりの局所化誤差を顕著に低減し、よりロバストで滑らかなポーズ推定を実現する。

ABSTRACT

Machine learning techniques, namely convolutional neural networks (CNN) and regression forests, have recently shown great promise in performing 6-DoF localization of monocular images. However, in most cases imagesequences, rather only single images, are readily available. To this extent, none of the proposed learning-based approaches exploit the valuable constraint of temporal smoothness, often leading to situations where the per-frame error is larger than the camera motion. In this paper we propose a recurrent model for performing 6-DoF localization of video-clips. We find that, even by considering only short sequences (20 frames), the pose estimates are smoothed and the localization error can be drastically reduced. Finally, we consider means of obtaining probabilistic pose estimates from our model. We evaluate our method on openly-available real-world autonomous driving and indoor localization datasets.

研究の動機と目的

• 単一画像に依存する既存の学習ベースの6-DoF局所化手法が、時間的連続性を無視するという限界を是正すること。
• 動画シーケンスに内在する時間的滑らかさを活用して、ポーズ推定の精度とロバスト性を向上させること。
• 短い動画クリップ（例：20フレーム）を処理できる再帰的モデルを構築し、エンドツーエンドの6-DoF再局所化を実現すること。
• 下流の応用に向けた信頼性を高めるために、局所化における不確実性を定量化する確率的ポーズ推定を提供すること。

提案手法

• 再帰的ニューラルネットワーク（RNN）を用いて、モノクローラ動画クリップ内の時間的依存性をモデル化する。
• 個々のフレームからの特徴抽出に畳み込みニューラルネットワーク（CNN）を用い、その後RNNでポーズ予測を精緻化する。
• フレームから抽出した特徴に基づいて、予測された6-DoFカメラポーズを精緻化するため、回帰フォレストをフレームワークに統合する。
• 時間的整合性を強制しながら、実世界の動画シーケンス上でエンドツーエンドにモデルを学習する。
• 予測の不確実性を学習された信頼度分布で捉えることで、確率的ポーズ推定を出力するようにモデルを拡張する。
• 動きの連続性を活用し、1フレームあたりの局所化誤差を低減するために、短い動画クリップ（20フレーム）を入力として用いる。

実験結果

リサーチクエスチョン

• RQ1 短い動画クリップをモデル化することで、単一画像ベースラインと比較して6-DoFカメラ再局所化の精度が向上するか？
• RQ2 時間的滑らかさを活用することで、モノクローラ動画シーケンスにおける1フレームあたりの局所化誤差はどの程度低減されるか？
• RQ3 再帰的アーキテクチャは、ロバストな6-DoFポーズ推定のための動画内の時間的依存性を効果的にモデル化できるか？
• RQ4 深層学習モデルから信頼性の高い確率的ポーズ出力を得るにはどうすればよいか？
• RQ5 提案手法は、自動運転やインDoor環境を含む多様な実世界環境に一般化可能か？

主な発見

• 提案されたVidLocモデルは、自動運転およびインDoorデータセットの両方で、単一画像ベースラインと比較して顕著に低い局所化誤差を達成した。
• 20フレームの動画クリップのみを用いても、時間的滑らかさを活用することで1フレームあたりのポーズ誤差を低減し、より一貫性があり正確な予測が得られた。
• 再帰的アーキテクチャは時間的依存性を効果的にモデル化し、滑らかな軌道推定とポーズ出力のジターディスコンフォーマンスを低減した。
• 回帰フォレストの統合により、特に視認性が悪くまたは曖昧な状況下でもポーズ精緻化が向上した。
• 信頼性の高い確率的ポーズ推定を生成でき、信頼性の高い展開に向けた不確実性を考慮した局所化を可能にした。
• 実証的評価により、複雑な都市部やインDoorシーンを含む多様な実世界環境に、本手法が良好に一般化することが確認された。