[論文レビュー] Scene Coordinate Regression with Angle-Based Reprojection Loss for Camera Relocalization

Xiaotian Li, Juha Ylioinas+2 more|arXiv (Cornell University)|Aug 15, 2018

Robotics and Sensor-Based Localization参考文献 40被引用数 3

ひとこと要約

本稿では、カメラ再局所化におけるシーン座標回帰のための角度に基づく再投影損失を提案し、慎重な初期化を必要とせず、エンドツーエンド学習を可能にするとともに、ポーズ精度を向上させる。この手法は、新たな損失関数を通じてマルチビュー制約を活用し、7-ScenesおよびCambridge Landmarksデータセットで最先端の性能を達成しており、初期化なしでDSAC++に比べ8.8ポイントの向上を達成している。

ABSTRACT

Image-based camera relocalization is an important problem in computer vision and robotics. Recent works utilize convolutional neural networks (CNNs) to regress for pixels in a query image their corresponding 3D world coordinates in the scene. The final pose is then solved via a RANSAC-based optimization scheme using the predicted coordinates. Usually, the CNN is trained with ground truth scene coordinates, but it has also been shown that the network can discover 3D scene geometry automatically by minimizing single-view reprojection loss. However, due to the deficiencies of the reprojection loss, the network needs to be carefully initialized. In this paper, we present a new angle-based reprojection loss, which resolves the issues of the original reprojection loss. With this new loss function, the network can be trained without careful initialization, and the system achieves more accurate results. The new loss also enables us to utilize available multi-view constraints, which further improve performance.

研究の動機と目的

• カメラ再局所化のためのシーン座標回帰ネットワークにおける、慎重な初期化の必要性を排除すること。
• 標準の再投影損失よりもより頑健な損失関数を設計することで、局所化精度を向上させること。
• トレーニング中にマルチビュー幾何制約を効果的に活用し、3次元幾何の発見を向上させること。
• 真のシーン座標が利用可能でない場合でも、新しい損失関数が収束と優れた性能を実現できることを示すこと。

提案手法

• 予測された3次元点の画像上での投影と真値との間の角度差を測定する角度に基づく再投影損失を提案し、標準的なL2再投影誤差に代わるものとする。
• この損失関数を用いて、1枚のRGB画像から3次元シーン座標を予測するCNNを学習させ、事前の座標初期化なしにエンドツーエンド学習を可能にする。
• トレーニング中に複数のビュー間の対応する2D-3Dマッチに角度に基づく損失を適用することで、マルチビュー制約を統合する。
• 予測の幾何的一致性をさらに強化するために、角度に基づく損失と光度再構成損失を組み合わせる。
• 2段階のパイプラインを採用：CNNによる座標予測、その後に予測された2D-3D対応点からのRANSACベースのポーズ推定。
• マルチビュー損失と光度損失のバランス重みλを調整し、過剰正則化による性能低下を回避する。

実験結果

リサーチクエスチョン

• RQ1 新しい損失関数により、カメラ再局所化のためのシーン座標回帰における慎重な初期化の必要性を排除できるか？
• RQ2 角度に基づく再投影損失は、標準の再投影損失よりも優れた収束性と高い精度を達成できるか？
• RQ3 新しい損失関数を用いたトレーニング中に、マルチビュー幾何制約を効果的に活用できるか？
• RQ4 光度再構成損失の統合が、座標ネットワークの性能にどのように影響するか？

主な発見

• 提案された角度に基づく再投影損失により、初期化なしで座標ネットワークの学習が成功し、7-Scenesデータセットで2cm、1.0°の閾値で88.6%の精度を達成した。これは、初期化なしのDSAC++に比べ8.8ポイントの向上である。
• Cambridge Landmarksデータセットでは、5つのシーンのうち4つでDSAC++よりも高い中央値のポーズ精度を達成し、多様な環境において一貫した改善を示した。
• 新しい損失関数を用いてマルチビュー制約を統合することで性能が向上し、特に角度に基づく再投影損失と光度再構成損失を組み合わせた場合に最高の結果が得られた。
• 初期化なしで元の再投影損失を用いた学習は、大多数のシーンで収束しなかったため、本手法の損失関数が頑健な学習に不可欠であることが示された。
• 完全な7-Scenesベンチマーク（2cm、1.0°）では71.8%の精度を達成し、初期化なしのDSAC++を上回り、3Dモデルの完全な監視を受けるDSAC++（76.1%）に近い性能に到達した。
• 感度分析の結果、不適切な重み付け（例：光度損失のλ=50）は性能を低下させることが判明し、ハイパーパramータの慎重な調整の必要性が示された。