[論文レビュー] HyperPose: Camera Pose Localization using Attention Hypernetworks

Ron Ferens, Yosi Keller|arXiv (Cornell University)|Mar 5, 2023

Robotics and Sensor-Based Localization被引用数 4

ひとこと要約

本稿では、入力画像特徴に基づいて動的に適応的な回帰ヘッド重みを生成するアテンションハイパーネットワークとしてのトランスフォーマー・エンコーダーを用いた、新しい絶対姿勢回帰手法HyperPoseを提案する。視覚的変動に応じて動的重みモodulationを可能にすることで、屋内および屋外のベンチマークで最先端の精度を達成し、照明、視点、シーンの変化に起因するドメインシフトに対しても、既存のAPR手法を上回る性能を発揮する。

ABSTRACT

In this study, we propose the use of attention hypernetworks in camera pose localization. The dynamic nature of natural scenes, including changes in environment, perspective, and lighting, creates an inherent domain gap between the training and test sets that limits the accuracy of contemporary localization networks. To overcome this issue, we suggest a camera pose regressor that integrates a hypernetwork. During inference, the hypernetwork generates adaptive weights for the localization regression heads based on the input image, effectively reducing the domain gap. We also suggest the use of a Transformer-Encoder as the hypernetwork, instead of the common multilayer perceptron, to derive an attention hypernetwork. The proposed approach achieves superior results compared to state-of-the-art methods on contemporary datasets. To the best of our knowledge, this is the first instance of using hypernetworks in camera pose regression, as well as using Transformer-Encoders as hypernetworks. We make our code publicly available.

研究の動機と目的

• 照明、視点、シーンの変動などの動的環境変化に起因するカメラ姿勢局在のドメインギャップを是正すること。
• 回帰ヘッド重みの入力依存的適応を可能にすることで、絶対姿勢回帰（APR）モデルのロバスト性と精度を向上させること。
• カメラ姿勢推定におけるハイパーネットワークの利用を検討すること。これは、この文脈では以前に調査されていなかった新しい応用分野である。
• 従来のMLPベースのハイパーネットワークと比較して、トランスフォーマー・エンコーダーをハイパーネットワークとして用いることの有効性を評価すること。このアプローチにより、回帰ヘッドパラメータを生成する。
• 適応的でアテンションベースの重み生成により、標準的な屋外および屋内局在ベンチマークで最先端の性能を達成すること。

提案手法

• モデルは二重ブランチアーキテクチャを採用し、EfficientNet-B0バックボーンの間隔特徴マップが、並列に配置されたトランスフォーマー・エンコーダーヘッドによって並列に並列に処理され、並進と回転の予測が行われる。
• アテンションハイパーネットワークとして実装されたトランスフォーマー・エンコーダーが、バックボーンの潜在表現を入力とし、入力画像に応じた動的でタスク固有の重みを回帰ヘッドに生成する。
• ハイパーネットワークは、主ネットワークの回帰ヘッドに加算されるリプルス重みを出力することで、回帰プロセスの適応的モodulationを可能にする。
• アーキテクチャは、各姿勢成分について個別に有用な視覚的手がかりに焦点を当てるため、2つの独立したシーケンス・ツー・ワン問題としてポーズ回帰を扱う。
• 4D-Norm回転表現と回転行列に基づく損失関数を用いることで、クaternionや6次元表現と比較して、回転推定精度が向上する。
• システム全体はバックプロパゲーションを用いてエンドツーエンドで訓練され、ハイパーネットワークとメインネットワークが同時に最適化される。

実験結果

リサーチクエスチョン

• RQ1 ハイパーネットワークアーキテクチャは、照明、視点、シーンの変化といった変動環境下でも一般化性能を向上させることができるか？
• RQ2 従来のMLPベースのハイパーネットワークと比較して、トランスフォーマー・エンコーダーをハイパーネットワークとして用いることで、ポーズ推定のための回帰重み生成において優れた性能を発揮するか？
• RQ3 ハイパーネットワークによる動的で入力依存の重みモドュレーションは、トレーニングデータとテストデータ間のドメインギャップを低減できるか？
• RQ4 リプルスベースのハイパーネットワーク設計は、直接回帰と比較して、ポーズ推定精度に優れているか？
• RQ5 ポーズ回帰の最適なハイパーネットワークの深さ、埋め込み次元、出力層構造は何か？

主な発見

• HyperPoseは、Cambridge LandmarksデータセットのShopFacadeシーンにおいて、中央値の位置誤差0.53メートル、方向誤差3.55度を達成し、最先端の性能を示した。
• リプルスハイパーネットワークアーキテクチャは直接回帰を上回り、位置誤差を0.02メートル、方向誤差を0.51度低減した。
• ハイパーネットワークにトランスフォーマー・エンコーダーを用いることで、優れた性能（位置誤差0.57メートル、方向誤差4.06度）が得られ、MLPベースのハイパーネットワーク（位置誤差0.68メートル、方向誤差4.29度）を上回った。これは、アテンションメカニズムの利点を示している。
• アブレーションスタディの結果、256/512の埋め込み次元設定が最良のバランスを示し、位置誤差0.53メートル、方向誤差3.55度を達成し、256/256および512/512設定を上回った。
• 4D-Norm回転表現に行列ベースの損失関数を組み合わせたアプローチが、最も低い方向誤差（4.08度）を達成し、クaternion（3.55度）や6次元表現（4.54度）を上回った。これは、本タスクに適していることを示している。
• ハイパーネットワークが異なる画像入力に対して一貫して異なる文脈に適した重みを生成できることから、視覚的変動に対するモデルの強力な適応能力が示された。