[論文レビュー] Relative Camera Pose Estimation Using Convolutional Neural Networks

Iaroslav Melekhov, Juha Ylioinas+2 more|arXiv (Cornell University)|Feb 5, 2017

Advanced Vision and Imaging参考文献 21被引用数 18

ひとこと要約

本稿では、ステレオRGB画像を入力として、相対回転および並進を直接回帰するエンド・ツー・エンドの畳み込みニューラルネットワーク（CNN）を提案する。この手法は、空間ピラミッドプーリング（SPP）を組み込んだシアンズアーキテクチャを活用し、特にテクスチャが乏しいまたは反射的なシーンにおいて、SURF や ORB などの従来の特徴ベース手法よりも優れた性能を発揮する。高解像度の入力がさらに精度を向上させている。

ABSTRACT

This paper presents a convolutional neural network based approach for estimating the relative pose between two cameras. The proposed network takes RGB images from both cameras as input and directly produces the relative rotation and translation as output. The system is trained in an end-to-end manner utilising transfer learning from a large scale classification dataset. The introduced approach is compared with widely used local feature based methods (SURF, ORB) and the results indicate a clear improvement over the baseline. In addition, a variant of the proposed architecture containing a spatial pyramid pooling (SPP) layer is evaluated and shown to further improve the performance.

研究の動機と目的

• 手作業で設計された局所特徴に依存せずに、2つの視点間の相対カメラポーズを推定する深層学習ベースの手法を開発すること。
• テクスチャが乏しい表面や大規模な視点変化が生じるような困難な状況において、シアンズ CNN アーキテクチャの相対ポーズ推定への有効性を評価すること。
• トレーニングデータの分布と画像解像度がポーズ推定精度に与える影響を調査すること。
• 広基準基準画像ペアにおける汎化性と性能向上に寄与する空間ピラミッドプーリング（SPP）の効果を検討すること。
• 標準ベンチマークデータセット上で、提案された CNN アプローチと確立された局所特徴ベース手法（例：SURF, ORB）を比較すること。

提案手法

• モデルは、ステレオペアの左および右のRGB画像を処理するために重みを共有するシアンズ CNN アーキテクチャを用いる。
• 最終層は、結合された特徴マップから相対ポーズ（回転および並進）を回帰する全結合層から構成される。
• マルチスケールの特徴表現を可能にし、スケール変動に対してより頑健にするために、空間ピラミッドプーリング（SPP）層を統合する。
• 予測された相対ポーズと真値との間のユークリッド距離を損失関数として用い、エンド・ツー・エンドでネットワークを学習する。
• 事前学習を大規模な Landmarks データセットで行い、その後 DTU データセットで微調整することで、トランスファー学習を適用する。
• 特に微細なポーズ推定において性能を向上させるために、トレーニングおよび推論時に高解像度の画像（1600×1200）を用いる。

実験結果

リサーチクエスチョン

• RQ1 シアンズ CNN アーキテクチャは、エンド・ツー・エンドの方法でステレオRGB画像から相対カメラポーズを効果的に推定できるか？
• RQ2 空間ピラミッドプーリング（SPP）の導入が、相対ポーズ推定の精度にどのように影響するか？
• RQ3 低解像度入力と比較して、高解像度画像で学習することで、性能がどの程度向上するか？
• RQ4 テクスチャが乏しい、または反射的な表面のような困難な状況において、提案された CNN ベースの手法は、従来の局所特徴ベース手法（例：SURF, ORB）と比べてどのように差をつけるか？
• RQ5 DTU データセットのサブセットで微調整することで、同じデータセットでのテスト時に性能が向上するか？

主な発見

• 特徴マッチングに失敗するテクスチャが乏しいまたは反射的なシーンにおいて、提案された CNN ベースの手法は、SURF や ORB よりも相対カメラ姿勢の推定で顕著に優れている。
• SPP を組み込んだバージョン（cnn-spp）は、CNN モデルの中で最も高い性能を発揮し、特に高解像度画像（1600×1200）でトレーニングおよびテストされた場合に顕著である。
• Landmarks データセットでのみ学習した場合と比較して、DTU データセットのサブセットで事前学習モデルを微調整することで、性能が向上した。
• 高解像度でのトレーニングおよび推論が、特に回転の推定において最も正確な相対ポーズ推定を実現し、cnn-spp モデルが最も優れた結果を示した。
• 平均的には、CNN メソッドは特徴ベース手法より並進推定でわずかに性能が劣るが、SURF や ORB が十分なインライヤーを検出できないような困難なケースでは、顕著に優れた性能を発揮する。
• 結果から、従来の特徴ベース手法が苦手とする光度的および幾何的条件の厳しい状況において、深層学習ベースの回帰手法が効果的に機能することが示された。