[論文レビュー] CGA-PoseNet: Camera Pose Regression via a 1D-Up Approach to Conformal Geometric Algebra

Alberto Pepe, Joan Lasenby|arXiv (Cornell University)|Feb 10, 2023

Optical measurement and interference techniques被引用数 4

ひとこと要約

CGA-PoseNetは、1次元アップ（1D-Up）構成を用いた conformal geometric algebra（CGA）を用いて回転と並進を1つのモーター表現に統合する、カメラポーズ回帰の新規手法を提案する。これにより、単純な平均二乗誤差（MSE）損失を用いたエンドツーエンド学習が可能となり、3次元点アノテーションや複雑な損失重み付けを必要としない。本手法は、3次元点アノテーションなしで、画像のみを用いたベンチマークデータセットで最先端の精度を達成する。

ABSTRACT

We introduce CGA-PoseNet, which uses the 1D-Up approach to Conformal Geometric Algebra (CGA) to represent rotations and translations with a single mathematical object, the motor, for camera pose regression. We do so starting from PoseNet, which successfully predicts camera poses from small datasets of RGB frames. State-of-the-art methods, however, require expensive tuning to balance the orientational and translational components of the camera pose.This is usually done through complex, ad-hoc loss function to be minimized, and in some cases also requires 3D points as well as images. Our approach has the advantage of unifying the camera position and orientation through the motor. Consequently, the network searches for a single object which lives in a well-behaved 4D space with a Euclidean signature. This means that we can address the case of image-only datasets and work efficiently with a simple loss function, namely the mean squared error (MSE) between the predicted and ground truth motors. We show that it is possible to achieve high accuracy camera pose regression with a significantly simpler problem formulation. This 1D-Up approach to CGA can be employed to overcome the dichotomy between translational and orientational components in camera pose regression in a compact and elegant way.

研究の動機と目的

• 従来、データセット固有の損失重み付けが必要な回転成分と並進成分のバランスを取る課題に対処すること。
• コンフォーマル幾何的代数（CGA）と1D-Up構成を用いて、回転と並進を1つの数学的対象（モーター）に統合すること。
• 3次元点アノテーションや幾何的再投影損失を必要とせず、RGB画像と単純なMSE損失のみで高精度なカメラポーズ回帰を可能にすること。
• CGAにおける4次元ユークリッド空間表現が、小規模データセットにおける訓練の簡素化と一般化性能の向上を実現することを示すこと。

提案手法

• 1D-Upコンフォーマル幾何的代数におけるモーターとしてカメラポーズを表現する。これは、すべての基底ベクトルが+1の平方を持つ4次元のユークリッド的性質を持つ空間である。
• 回転と並進を1つの8パラメータのモーターで符号化し、方向と位置の別々の表現の必要性を排除する。
• 予測されたモーターと真値モーターの間の標準的な平均二乗誤差（MSE）損失を適用し、複雑で恣意的な損失重み付け方式を回避する。
• 3次元シーンの幾何構造を必要とせず、RGB入力から直接モーターを回帰するように変更されたPoseNetアーキテクチャを訓練する。
• 点群をコンフォーマル変換により球面空間に射影し、再構築された点群間のMSEを用いてポーズ精度を検証する。
• ポーズ適用および誤差測定中に幾何的忠実性を保つために、球面空間変換（式13）を採用する。

実験結果

リサーチクエスチョン

• RQ1 コンフォーマル幾何的代数における統合されたモーター表現により、カメラポーズ回帰における回転と並進の間の別々の損失重み付けの必要性を排除できるか？
• RQ2 ユークリッド的性質を持つ1D-Up CGAフレームワークを用いることで、標準的なMSE損失を用いたより単純でより頑健な訓練が可能になるか？
• RQ3 3次元点アノテーションを一切必要とせず、RGB画像とモーター回帰のみで高精度なカメラポーズ回帰が達成できるか？
• RQ4 3次元点を用いた幾何的再投影損失を用いる最先端手法と比較して、モーターに基づくアプローチの性能はどのように異なるか？

主な発見

• CGA-PoseNetは、3次元点アノテーションを一切必要とせず、RGB画像と単純なMSE損失のみで13のベンチマークデータセットで最先端の精度を達成した。
• 本手法は、200万点以上の3次元点を必要とする幾何的再投影損失を用いる手法（例：Cambridge Landmarksデータセット）と同等またはそれ以上の性能を示した。
• 位置誤差と回転誤差が強く相関しており、モーター表現が両成分にわたって一貫性を示していることを確認した。
• 点群再構築実験では、予測された点群と真値点群間のMSEが表に報告された位置誤差と整合的であり、予測されたモーターの幾何的忠実性を検証した。
• モデルの不確実性を含む[20]やLSTMヘッドを追加した[48]と比較して、本手法はその単純さにもかかわらず優れた結果を示した。
• King’s や Shop Facade のようなランドマークの点群再構築におけるMSEは低く、一貫性があり、報告されたポーズ誤差と整合的であり、多様なシーンにわたる頑健性を確認した。