[論文レビュー] Hierarchical Discrete Distribution Decomposition for Match Density Estimation

Zhichao Yin, Trevor Darrell+1 more|arXiv (Cornell University)|Dec 15, 2018

Advanced Vision and Imaging参考文献 53被引用数 16

ひとこと要約

本稿では、光学的フローおよびステレオマッチングにおける確率的ピクセル対応推定のための新規フレームワーク、階層的離散的分布分解（HD³）を提案する。マルチスケール特徴ピラミッド上で全マッチング密度を段階的に分解し、粗いスケールの予測に条件付けられた局所的分布を用いることで、HD³は複雑な非パラメトリックなマッチング分布の効率的かつエンドツーエンド学習を可能にし、固有の不確実性推定を内蔵する。MPI SintelおよびKITTIベンチマークにおいて最先端の性能を達成するとともに、信頼性の高い不確実性を伴う予測を提供する。

ABSTRACT

Explicit representations of the global match distributions of pixel-wise correspondences between pairs of images are desirable for uncertainty estimation and downstream applications. However, the computation of the match density for each pixel may be prohibitively expensive due to the large number of candidates. In this paper, we propose Hierarchical Discrete Distribution Decomposition (HD^3), a framework suitable for learning probabilistic pixel correspondences in both optical flow and stereo matching. We decompose the full match density into multiple scales hierarchically, and estimate the local matching distributions at each scale conditioned on the matching and warping at coarser scales. The local distributions can then be composed together to form the global match density. Despite its simplicity, our probabilistic method achieves state-of-the-art results for both optical flow and stereo matching on established benchmarks. We also find the estimated uncertainty is a good indication of the reliability of the predicted correspondences.

研究の動機と目的

• 光学的フローおよびステレオマッチングにおけるピクセル単位の対応関係のグローバルマッチング分布を明示的にモデル化する際の高い計算コストを低減すること。
• ガウスノイズのような制限的なパラメトリック仮定を課さずに、複雑な非パラメトリックなマッチング分布のエンドツーエンド学習を可能にすること。
• モデル固有の不確実性推定を学習プロセスに統合し、信頼性と下流タスクの耐障害性を向上させること。
• 全マッチング密度を階層的でスケール別に分離された局所的分布に分解し、計算の効率化と合成を実現すること。
• 標準ベンチマークで最先端の性能を達成するとともに、解釈可能な不確実性測定を提供すること。

提案手法

• HD³は、四分木構造に類似した構造を用いてグローバルマッチング密度を階層的レベルに分解し、各スケールで局所的マッチング分布を推定する。
• 計算コストと精度のトレードオフを実現するため、Deep Layer Aggregation（DLA）バックボーンを用いてマルチスケール特徴を抽出する。
• 各スケールで、粗いスケールからのマッチングおよびワープ結果に条件づけて、マッチング密度を反復的特徴ワープを介して予測する。
• 密度バイパス接続により、スケール間で条件情報が伝達され、全マッチング分布の階層的合成が可能になる。
• 専用のD2V（Distribution-to-Vector）およびV2D（Vector-to-Distribution）モジュールを介して、点推定と全マッチング密度の間の変換をサポートする。
• 不確実性は推定された離散的マッチング分布から直接導出され、後処理によるキャリブレーションなしに誤差を考慮した予測が可能になる。

実験結果

リサーチクエスチョン

• RQ1 マッチング分布の階層的分解は、密な対応推定における計算効率を向上させつつ、精度を維持できるか？
• RQ2 ガウスノイズのようなパラメトリック仮定に比べて、非パラメトリックで離散的なマッチング分布表現は、複雑な運動パターンのモデル化において優れているか？
• RQ3 階層的マッチング密度のエンドツーエンド学習は、後処理による信頼性測定よりも優れた不確実性推定をもたらすか？
• RQ4 本フレームワークは、合成データ（MPI Sintel）および実世界データ（KITTI）を含む多様なデータセットに一般化可能か？
• RQ5 推定された不確実性は、オクルージョン領域や細い構造部など困難な領域における実際の予測誤差とどの程度相関しているか？

主な発見

• HD³はMPI SintelおよびKITTIベンチマークの両方で最先端の性能を達成し、KITTI 2012および2015におけるすべての2フレーム光学的フロー手法および複数のシーンフロー手法を上回った。
• MPI Sintelでは、最終パスで平均エンドツーエンド誤差（EPE）が0.565、クリーンパスで0.379を達成した。後者はトレーニング時にクリーンパスデータを使用していないにもかかわらず、依然として達成できない水準の結果であった。
• KITTI 2012ではF1-Nocスコアが96.1%で最低を記録し、KITTI 2015ではF1-allスコアが91.8%で最低を記録した。両方とも競合するシーンフローモデルを上回った。
• HD³はSintelクリーンで-1.487、Sintel最終で-1.821の平均ログ尤度を達成し、ベースラインと比較して優れた確率的マッチング分布モデル化を示した。
• HD³による不確実性推定は予測誤差と強く相関していた。KITTI 2015では、外れ値分類において96.1%のIoUと97.8%の精度を達成し、前方・後方一致チェックを上回った。
• 定性的な結果では、HD³が細い構造やオクルージョン境界の推定において優れた性能を示し、信頼度マップが曖昧領域での不確実性を明確に示していた。