[論文レビュー] Optimal Multi-view Correction of Local Affine Frames

Iván Eichhardt, Dániel Baráth|arXiv (Cornell University)|May 1, 2019

Robotics and Sensor-Based Localization参考文献 31被引用数 4

ひとこと要約

本稿では、事前に推定された視差幾何を用いて、複数の視点間で局所アフィンフレーム（LAF）を補正する閉形式で最小二乗最適な手法を提案する。カメラの運動に基づく幾何的一致性を強制することで、SIFT や AKAZE などの部分的アフィン共変特徴検出器が生成する LAF の精度を顕著に向上させ、ホモロジー推定、表面法線推定、ポーズ推定などの下流タスクを改善する。

ABSTRACT

The technique requires the epipolar geometry to be pre-estimated between each image pair. It exploits the constraints which the camera movement implies, in order to apply a closed-form correction to the parameters of the input affinities. Also, it is shown that the rotations and scales obtained by partially affine-covariant detectors, e.g., AKAZE or SIFT, can be completed to be full affine frames by the proposed algorithm. It is validated both in synthetic experiments and on publicly available real-world datasets that the method always improves the output of the evaluated affine-covariant feature detectors. As a by-product, these detectors are compared and the ones obtaining the most accurate affine frames are reported. For demonstrating the applicability, we show that the proposed technique as a pre-processing step improves the accuracy of pose estimation for a camera rig, surface normal and homography estimation.

研究の動機と目的

• 部分的アフィン共変特徴検出器（例：SIFT や AKAZE）が複数視点設定で生成する局所アフィンフレーム（LAF）の不正確さを是正すること。
• 事前に推定された視差幾何を活用して、複数の視点間の LAF 間の幾何的一致性を強制すること。
• ノイズの多い LAF を是正することで、ホモロジー推定、表面法線推定、ポーズ推定などの下流ビジョンタスクの信頼性を向上させること。
• 異なるアフィン共変検出器が正確な LAF を生成する性能を評価・比較すること。
• 提案手法の是正法が、幾何ビジョンパイプラインでアフィンフレームを用いる際、普遍的に有益であることを示すこと。

提案手法

• SIFT や AKAZE などの検出器から得られる入力 LAF を、視差制約に最も近づくように閉形式解により是正する。
• 対応する LAF 間の変換が、特に基本行列に一致するように制約を課す。
• 視差線の法線ベクトルが、2つの視点間で一貫して変換されることを保証し、スケーリング要因は基本行列から導出する。
• 反復的最適化を必要とせず、効率的な是正が可能なように、すべての画像ペア間で視差幾何が事前に推定されていると仮定する。
• EG-L2-Optimal 法を複数視点に拡張し、すべてのペアワイズ関係に一貫性を持たせた是正を可能にする。
• 検出器が LAF を完全に推定できない場合（例：SIFT はスケールと方位は提供するが、完全なアフィン形状は提供しない）でも、カメラの運動に基づいて一貫性を持って補完可能である。

実験結果

リサーチクエスチョン

• RQ1 SIFT や AKAZE などの部分的アフィン共変検出器が検出する LAF の精度を、閉形式是正法が向上させられるか？
• RQ2 視差幾何制約を強制することで、複数視点設定における LAF の品質にどのような影響を与えるか？
• RQ3 LAF を是正することで、ホモロジー推定、表面法線推定、ポーズ推定などの下流幾何ビジョンタスクの性能がどの程度向上するか？
• RQ4 提案手法の是正法と組み合わせた場合、どのアフィン共変検出器が最も正確な LAF を生成するか？
• RQ5 この是正法は、多様な実世界データセットやタスクにおいて、頑健で普遍的に有益であるか？

主な発見

• 提案是正法は、評価したすべての検出器の LAF の精度を向上させた。特に、Morel と Yu (2009) が提案したビュー合成器と組み合わせた AKAZE が最も正確な結果を得た。
• 表面法線推定において、修正済み LAF は、herzjesus-p8 シーンで元の LAF と比較して、5°未満の角度誤差を達成する特徴点の数が 1.2 倍に増加した。
• KITTI データセットを用いた相対運動推定では、MSAC の反復回数が 28 回から 26 回に、LO+MSAC では 23 回から 22 回に減少し、処理速度と頑健性が向上した。
• 内側点の割合は、MSAC で 59.0% から 60.4%、LO+MSAC で 74.8% から 75.2% に上昇し、RANSAC を用いた推定における一貫性が向上した。
• 回転誤差と並進誤差が減少した：平均回転誤差は MSAC で 0.66° から 0.61° に、LO+MSAC で 0.45° から 0.38° に低下した。平均並進誤差は MSAC で 8.11° から 7.31° に、LO+MSAC で 5.00° から 4.18° に減少した。
• 本手法は、すべてのテストデータセットおよびタスクで一貫して性能を向上させ、前処理ステップとして広範に適用可能で信頼性が高いことを示した。