[論文レビュー] PDC-Net+: Enhanced Probabilistic Dense Correspondence Network

Prune Truong, Martin Danelljan+2 more|arXiv (Cornell University)|Sep 28, 2021

Human Pose and Action Recognition被引用数 4

ひとこと要約

PDC-Net+ は、制約付きラプラス分布の混合モデルを用いて、同時に光流および不確実性を予測する確率的深層ネットワークを提案する。この手法により、大規模な変位、隠蔽、外観変化の下でも頑健な信頼性推定が可能となり、幾何的マッチングおよび光流のベンチマークで最先端の性能を達成するとともに、3D再構築やポーズ推定といった後続タスクにおける不確実性のキャリブレーションが著しく向上する。

ABSTRACT

Establishing robust and accurate correspondences between a pair of images is a long-standing computer vision problem with numerous applications. While classically dominated by sparse methods, emerging dense approaches offer a compelling alternative paradigm that avoids the keypoint detection step. However, dense flow estimation is often inaccurate in the case of large displacements, occlusions, or homogeneous regions. In order to apply dense methods to real-world applications, such as pose estimation, image manipulation, or 3D reconstruction, it is therefore crucial to estimate the confidence of the predicted matches. We propose the Enhanced Probabilistic Dense Correspondence Network, PDC-Net+, capable of estimating accurate dense correspondences along with a reliable confidence map. We develop a flexible probabilistic approach that jointly learns the flow prediction and its uncertainty. In particular, we parametrize the predictive distribution as a constrained mixture model, ensuring better modelling of both accurate flow predictions and outliers. Moreover, we develop an architecture and an enhanced training strategy tailored for robust and generalizable uncertainty prediction in the context of self-supervised training. Our approach obtains state-of-the-art results on multiple challenging geometric matching and optical flow datasets. We further validate the usefulness of our probabilistic confidence estimation for the tasks of pose estimation, 3D reconstruction, image-based localization, and image retrieval. Code and models are available at https://github.com/PruneTruong/DenseMatching.

研究の動機と目的

• 大規模な変位、隠蔽、外観変動の下でも信頼性の高い不確実性推定が欠如している密度的対応ネットワークの課題を解決すること。
• 密度的なアノテーションを必要とせず、現実世界の幾何的マッチングシナリオにうまく一般化する自己教師付き学習フレームワークの開発。
• ポーズ推定や画像ベースローカライゼーションといった、従来はスパarsityキーポoinトマッチングに依存していた応用を、密度的対応手法がサポート可能にする。
• 確率的定式化により、インライアとアウトライアの両方の光流予測を明示的にモデル化することで、不確実性予測の頑健性を向上させること。
• 自己教師付き学習において、テクスチャが乏しい領域や隠蔽領域で過信しないように、アーキテクチャおよび学習戦略を設計すること。

提案手法

• ネットワークは、条件付き光流分布を2つのラプラス成分の制約付き混合モデルとしてモデル化し、最初の成分がインライア予測を捉え、2番目の成分がアウトライアをモデル化する。
• 混合成分は、分散（σ²₁ = 1.0、2.0 ≤ σ²₂ ≤ HW）に固定された下限および上限により制約され、順列のあいまいさが解消され、不確実性の分離が向上する。
• 相関ボリュームデコーダーに独立した空間処理モジュールを導入し、テクスチャが乏しい領域での過剰な外挿しを防ぎ、過信を低減する。
• 自己教師付き学習中に、真値光流の単射性を強制するインジェクティブなトレーニングマスクを適用することで、隠蔽領域や動く物体領域への一般化が向上する。
• 独立して動く物体をシミュレートするためのマルチオブジェクトトレーニングデータ生成戦略を用いることで、複雑なシーンダイナミクスに対する耐性が向上する。
• 不確実性をアウトライアである確率として推定する微分可能な損失関数を用いて、エンドツーエンドで学習を行う。この損失関数は、光流精度（AEPE、Fl）と不確実性キャリブレーション（AUSE）の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークは、挑戦的な幾何的マッチングシナリオにおいて、密度的光流と信頼性の高い不確実性推定を同時に予測できるか？
• RQ2 大規模な変位や隠蔽の下でも、インライア予測とアウトライアを効果的に区別できるように、不確実性をどのようにモデル化できるか？
• RQ3 自己教師付き密度的対応ネットワークにおける過信を防ぐために、どのようなアーキテクチャ的および学習的変更が必要か？
• RQ4 現実的なシーンダイナミクスを伴う自己教師付き学習は、一般化性能および不確実性キャリブレーションをどの程度向上できるか？
• RQ5 密度的ネットワークから得られる確率的信頼性マップは、ポーズ推定や3D再構築といった後続タスクで最先端の性能を達成できるか？

主な発見

• PDC-Net+ は、KITTI-2015、MegaDepth、YFCC100M データセットで最先端の性能を達成し、KITTI-2015 では 5.55 AEPE および 16.75% Fl を達成した。
• KITTI-2015 では AUSE（不確実性キャリブレーション誤差）を 0.136 に、YFCC100M では 0.238 にまで低減し、ベースラインと比較して優れた不確実性キャリブレーションを示した。
• 複数の独立して動くオブジェクトを用いた学習により、KITTI-2015 での Fl が 3% 向上し、複雑な動きに対する耐性が向上した。
• インジェクティブなトレーニングマスクにより、KITTI-2015 で 5.55 AEPE を達成し、マスクなしや隠蔽マスク戦略を上回った。特に隠蔽領域で顕著な性能向上が見られた。
• YFCC100M では、画像ベースローカライゼーションで 44.45% mAP@5° および 54.70% mAP@10° を達成し、実世界応用への強力な汎化性を示した。
• 固定分散境界（σ²₁ = 1.0、2.0 ≤ σ²₂ ≤ HW）を用いた制約付き混合モデルが、最も安定した学習と最良の全体的性能を達成し、非制約型または固定分散型の代替手法を上回った。