[論文レビュー] Pose-GNN : Camera Pose Estimation System Using Graph Neural Networks

Ahmed Elmoogy, Xiaodai Dong+3 more|arXiv (Cornell University)|Mar 17, 2021

Robotics and Sensor-Based Localization参考文献 45被引用数 5

ひとこと要約

この論文では、事前学習されたResNet50特徴量を活用して局所化精度を向上させるために、グラフニューラルネットワーク（GNN）を用いた新しいカメラポーズ推定システムPose-GNNを提案する。2つのアプローチを導入する——画像をグラフのノードとしてモデル化する（ノード・ポーズ）か、画像特徴量をグラフとして扱う（グラフ・ポーズ）か——その結果、ノード・ポーズが7 ScenesデータセットにおいてImageNet特徴量を用いて、中央値の位置誤差0.18m、オイラー角誤差7.5°というSOTA性能を達成した。

ABSTRACT

We propose a novel image based localization system using graph neural networks (GNN). The pretrained ResNet50 convolutional neural network (CNN) architecture is used to extract the important features for each image. Following, the extracted features are input to GNN to find the pose of each image by either using the image features as a node in a graph and formulate the pose estimation problem as node pose regression or modelling the image features themselves as a graph and the problem becomes graph pose regression. We do an extensive comparison between the proposed two approaches and the state of the art single image localization methods and show that using GNN leads to enhanced performance for both indoor and outdoor environments.

研究の動機と目的

• 従来の回帰ヘッドに代えて、グラフニューラルネットワークを用いて単一画像からのカメラポーズ推定精度を向上させること。
• 画像をノードとしてモデル化するか、画像特徴量をグラフとしてモデル化するかの両者において、どちらがポーズ推定でより優れた性能を示すかを調査すること。
• 屋内および屋外の局所化において、異なる事前学習済み特徴量バックボーン（ImageNet対 Places）の影響を評価すること。
• 異なる環境におけるグラフ構築のための最適な近隣ノード選択戦略を特定すること。
• GNNを用いる際、ResNet50の微調整を回避できるかを検証すること。

提案手法

• 各画像に対して、事前学習済みResNet50ネットワークの2番目に最後の層から特徴量を抽出する。
• 各画像を特徴量類似度に基づいて近隣のノードと接続するグラフを構築する。
• ノード・ポーズアプローチにおいて、ConvGNN（グラフ畳み込みネットワーク）を用いてノード特徴量からカメラポーズを回帰する。
• ResNet50の中間特徴マップを空間的に近い特徴量同士を接続することでグラフとして表現し、GNNを用いてグラフレベルのポーズ回帰を実行する。
• ポーズ回帰のための平均二乗誤差損失関数を用いて、GNNをエンドツーエンドで訓練する。
• 異なる近隣数（k）を用いて、屋内と屋外のシーンにおける感度と最適構成を分析する。

実験結果

リサーチクエスチョン

• RQ1 標準的な回帰ヘッドと比較して、事前学習済み特徴量を用いたGNNを用いることで、カメラポーズ推定精度が向上するか？
• RQ2 画像をノードとしてグラフにモデル化するアプローチと、画像特徴量をグラフとしてモデル化するアプローチとでは、どちらがポーズ推定においてより効果的か？
• RQ3 事前学習済み特徴量バックボーン（ImageNet 対 Places）の選択が、屋内と屋外の環境における性能に与える影響は何か？
• RQ4 異なる環境におけるグラフ構築のための最適な近隣ノード数は何か？
• RQ5 GNNを用いる際、ResNet50バックボーンの微調整を回避できるか？

主な発見

• ノード・ポーズアプローチは、7 Scenesデータセットにおいて、すべてのSOTA手法を上回り、ImageNet特徴量を用いて中央値の位置誤差0.18m、オイラー角誤差7.5°を達成した。
• 屋外シーンでは、Placesで事前学習された特徴量が優れた結果を示し、中央値のオイラー角誤差3.76°を達成。PN-L-W や LSTM などの他の手法を上回った。
• グラフ・ポーズアプローチも7 Scenesデータセットにおいて、すべての他の手法を上回ったが、特に屋外環境ではノード・ポーズに比べて性能が劣った。
• 屋内シーンでは、より高い近隣ノード数（例：35以上）が効果的である一方、屋外シーンでは、より少ない近隣ノード数（10未満）が最適であった。これは、画像間の距離がより大きいことに起因する。
• 周囲のノードとは異なる重みを用いた中心ノード特徴量を用いることで、訓練の安定性と性能が向上した。
• ResNet50バックボーンの微調整を一切行わずに、強力な性能を達成した。これは、GNNと静的で事前学習済み特徴量の組み合わせの有効性を裏付けた。