[論文レビュー] UprightNet: Geometry-Aware Camera Orientation Estimation from Single Images

Wenqi Xian, Zhengqi Li+4 more|arXiv (Cornell University)|Aug 19, 2019

Advanced Vision and Imaging参考文献 47被引用数 9

ひとこと要約

UprightNetは、局所的なカメラ座標系とグローバルな真っすぐな座標系の両方における表面幾何を予測し、微分可能な最小二乗法により最適な回転を解くことで、1枚のRGB画像から2次元カメラの姿勢（ピッチおよびロール）を推定する幾何学的注意を意識した深層学習フレームワークを提案する。局所的およびグローバルな表面フレーム間の幾何的一致性を明示的にモデル化することにより、合成および現実世界の屋内データセットで最先端の精度と一般化性能を達成した。

ABSTRACT

We introduce UprightNet, a learning-based approach for estimating 2DoF camera orientation from a single RGB image of an indoor scene. Unlike recent methods that leverage deep learning to perform black-box regression from image to orientation parameters, we propose an end-to-end framework that incorporates explicit geometric reasoning. In particular, we design a network that predicts two representations of scene geometry, in both the local camera and global reference coordinate systems, and solves for the camera orientation as the rotation that best aligns these two predictions via a differentiable least squares module. This network can be trained end-to-end, and can be supervised with both ground truth camera poses and intermediate representations of surface geometry. We evaluate UprightNet on the single-image camera orientation task on synthetic and real datasets, and show significant improvements over prior state-of-the-art approaches.

研究の動機と目的

• ブラックボックス回帰に依存するのではなく、明示的な幾何的推論を組み込むことで、1枚のRGB画像からの2次元カメラ姿勢推定を向上させること。
• 従来の学習ベースの手法が幾何的インダクティブバイアスを欠いているため、一般化性能が低く、解釈性も低いという限界を是正すること。
• 局所的（カメラ）およびグローバル（真っすぐな）座標系における表面幾何を同時に予測することで、姿勢推定に向けた幾何的アライメントを可能にするフレームワークを開発すること。
• 中間の幾何的表現と最終的な姿勢出力の両方に監視を施すことで、エンドツーエンドの学習を可能にし、ロバストネスと性能を向上させること。

提案手法

• ネットワークは、局所的カメラ座標系およびグローバルな真っすぐな座標系の両方で、表面法線、接線ベクトル、従接ベクトルの3つの幾何的表現を予測する。
• カメラ姿勢推定を、予測された局所的表面フレームとグローバルなフレームを一致させる微分可能な最小二乗問題として定式化する。
• 予測された重みマップを用いて信頼性の低い幾何的予測を抑制することで、ノイズや曖昧な領域に対するロバストネスを向上させる。
• マルチタスク監視を用いて学習する：最終的な姿勢誤差に加え、中間の幾何的表現（例：表面法線や接平面）に対しても監視を施す。
• 幾何的アライメントモジュールを経由するバックプロパゲーションを可能にするエンドツーエンド微分可能なフレームワークである。
• 垂直な壁や水平な床の性質といった幾何的事前知識をエンコードする中間表現として、表面フレームを活用する。

実験結果

リサーチクエスチョン

• RQ1 明示的な幾何的推論は、1枚の画像からのカメラ姿勢推定のための深層学習モデルの精度と一般化性能を向上させることができるか？
• RQ2 局所的およびグローバルな幾何的表現を組み込むことで、単にピxlsから学習するのと比較して、姿勢推定がどの程度向上するか？
• RQ3 微分可能な幾何的アライメントモジュールを用いることで、直接回帰ベースラインと比較して性能がどの程度向上するか？
• RQ4 表面幾何の表現に対する中間監視を施すことで、未観測の屋内シーンへの一般化性能が向上するか？
• RQ5 構造的幾何特徴（例：法線や接平面）を用いることで、構造が乏しいシーンでもロバストネスが向上するか？

主な発見

• UprightNetは、InteriorNetのテストセットで平均1.17°、中央値0.52°の角度誤差を達成し、先行する最先端手法を顕著に上回った。
• SUN360データセットでは、UprightNetが良好な一般化性能を示し、平均角度誤差7.81°を達成した。これは、CNN回帰（10.43°）およびDeepHorizon（9.53°）を上回った。
• アブレーションスタディの結果、局所的またはグローバルな幾何監視を削除すると誤差が増加し、二重フレーム幾何予測の重要性が確認された。
• F^cおよびF^uの両方の監視と重みマップを備えた完全なモデルは、幾何監視なしのアブレーションと比較して、角度誤差を40％削減した。
• 本手法は強力な一般化性能を示し、未観測のSUN360データに対して、次に優れた手法と比較して平均角度誤差が25％相対的に改善された。
• 構造的キューがないシーン（例：平らな壁や均一な床）では失敗ケースが発生し、消失点や既知の内挿パラメータといった追加の幾何的事前知識の必要性が示唆された。