[論文レビュー] LIFE: Lighting Invariant Flow Estimation

Zhaoyang Huang, Xiaokun Pan+5 more|arXiv (Cornell University)|Apr 7, 2021

Advanced Vision and Imaging参考文献 59被引用数 5

ひとこと要約

LIFEは、SfMから得られるカメラポーズと合成的な幾何変換を用いて、明るさの大きな変動を伴う画像ペア間の密集光学フローを推定する弱教師付き深層学習フレームワークを提案する。対称的エピポーラ距離損失を用いることで、幾何的整合性を保ちつつエピポーラ線に沿ったフロー予測を可能にし、極端な照明変化下でも最先端の性能を達成。特徴点マッチングと下流のビジュアルロケーションタスクの両方を顕著に向上させる。

ABSTRACT

We tackle the problem of estimating flow between two images with large lighting variations. Recent learning-based flow estimation frameworks have shown remarkable performance on image pairs with small displacement and constant illuminations, but cannot work well on cases with large viewpoint change and lighting variations because of the lack of pixel-wise flow annotations for such cases. We observe that via the Structure-from-Motion (SfM) techniques, one can easily estimate relative camera poses between image pairs with large viewpoint change and lighting variations. We propose a novel weakly supervised framework LIFE to train a neural network for estimating accurate lighting-invariant flows between image pairs. Sparse correspondences are conventionally established via feature matching with descriptors encoding local image contents. However, local image contents are inevitably ambiguous and error-prone during the cross-image feature matching process, which hinders downstream tasks. We propose to guide feature matching with the flows predicted by LIFE, which addresses the ambiguous matching by utilizing abundant context information in the image pairs. We show that LIFE outperforms previous flow learning frameworks by large margins in challenging scenarios, consistently improves feature matching, and benefits downstream tasks.

研究の動機と目的

• 明るさと視点の大きな変動を伴う画像ペアに対する密集フローのアノテーション不足に対処すること。
• 構造からモーション（SfM）から得られるカメラポーズを弱教師信号として用い、光学フロー推定に活用する弱教師付き学習フレームワークの開発。
• 提案されたネットワークが予測する照明不変フローを用いて、特徴点マッチングをガイドすることで、その品質を向上させること。
• 実世界の極端な照明変化下におけるビジュアルロケーションや3D再構築といった下流タスクの性能向上。

提案手法

• SfMから得られる相対カメラポーズを用いて、対称的エピポーラ距離を計算し、フロー推定の弱教師信号として利用。
• 予測されたフローがエピポーラ線上に位置することを制約する対称的エピポーラ距離損失を導入。これにより、線に沿ったスライディングを許容しつつ幾何的整合性を維持。
• 合成的な幾何変換（例：ホモロジー）を用いてピクセル単位のフローマスクを生成し、エピポーラ損失を補完。これにより推定精度が向上。
• 双方向フローデータ訓練（BiT損失）を適用し、両方向の整合性を強制。これにより、オクルージョン領域や曖昧な領域への耐性が向上。
• 誤差が小さいフローパターンにのみサイクル整合性を適用する、アダプティブサイクル整合性（AC）損失を実装。これにより、オクルージョン領域での誤差伝搬を低減。
• 特徴点マッチングを2段階でガイド：まず標準的な記述子を用い、次にLIFEで予測されたフローを用いてマッチングを精緻化。これにより曖昧さと外れ値が低減。

実験結果

リサーチクエスチョン

• RQ1 SfMカメラポーズから得られる対称的エピポーラ距離損失は、照明不変光学フローを学習するための有効な弱教師信号として機能するか？
• RQ2 合成的幾何変換とエピポーラ制約を組み合わせることで、照明変動が著しい状況下でのフロー推定精度がどの程度向上するか？
• RQ3 照明不変フローを用いることで、インライア比率とマッチ数の観点から、特徴点マッチングの品質がどの程度向上するか？
• RQ4 提案されたフレームワークは、厳しい照明条件下でのビジュアルロケーションなどの下流タスクの性能を向上させるか？

主な発見

• LIFEはKITTIおよびHPatchesベンチマークで最先端の性能を達成。HPatches-I(T)では平均エンドポイント誤差（AEPE）が2.59に低下、KITTI 2015では8.30に。
• 対称的エピポーラ距離損失、BiT損失、アダプティブサイクル整合性（SED+BiT+AC）の組み合わせが最良の性能を示し、個々の要素を上回る。
• LIFE+R2D2はAachenナイトタイムベンチマークで0.5m、5°の閾値で94.9％のロケーション精度を達成し、テストされたすべての手法の中で1位。
• LIFEガイドドマッチングにより特徴点マッチングが向上：例えば、R2D2のマッチ数はLIFEガイドドマッチングを用いることで1.8Kから2.1Kに増加。
• LIFEガイドドマッチングはマッチ数を増加させる一方でMMAはわずかに低下させる。これは補助的なマッチがやや不正確ではあるが、全体のロバスト性向上に寄与していることを示唆。
• Aachenナイトタイムデータセットでは、LIFE+R2D2が5m、10°の閾値で100％の精度を達成し、SuperGlueや他のSOTA手法を上回った。