[論文レビュー] Cross-Scale Cost Aggregation for Stereo Matching

Kang Zhang, Yuqiang Fang+4 more|arXiv (Cornell University)|Mar 3, 2014

Advanced Vision and Imaging被引用数 35

ひとこと要約

本論文は、既存のコスト集約手法にマルチスケール情報を統合することでステレオマッチングを向上させる汎用的なクロススケールコスト集約フレームワークを提案する。コスト集約をスケール間正則化項を含む統一された重み付き最小二乗最適化問題として定式化することにより、Middlebury、KITTI、New Tsukubaなどのデータセットにおいて、ボックスフィルタのような単純なフィルタでさえ顕著な性能向上を達成するなど、ロバスト性と正確性が向上する。

ABSTRACT

Human beings process stereoscopic correspondence across multiple scales. However, this bio-inspiration is ignored by state-of-the-art cost aggregation methods for dense stereo correspondence. In this paper, a generic cross-scale cost aggregation framework is proposed to allow multi-scale interaction in cost aggregation. We firstly reformulate cost aggregation from a unified optimization perspective and show that different cost aggregation methods essentially differ in the choices of similarity kernels. Then, an inter-scale regularizer is introduced into optimization and solving this new optimization problem leads to the proposed framework. Since the regularization term is independent of the similarity kernel, various cost aggregation methods can be integrated into the proposed general framework. We show that the cross-scale framework is important as it effectively and efficiently expands state-of-the-art cost aggregation methods and leads to significant improvements, when evaluated on Middlebury, KITTI and New Tsukuba datasets.

研究の動機と目的

• 現在のコスト集約手法が最も細かいスケールでのみ動作し、人間のステレオビジョンで観察されるマルチスケール処理を無視しているという制限に対処すること。
• 既存の手法を変更せずにクロススケール相互作用を可能にする汎用的なフレームワークを開発すること。
• 統一された最適化定式化における新しい正則化項を用いてスケール間の一貫性を強制することで、デュアリティマップの品質を向上させること。
• Middlebury、KITTI、New Tsukubaを含む多様なデータセットにおいて、さまざまな条件下でフレームワークの有効性を検証すること。

提案手法

• 類似度カーネルを用いた重み付き最小二乗（WLS）最適化問題に、さまざまなコスト集約手法（例：バイリテラルフィルタ、ガイドドフィルタ、非局所フィルタ）を再定式化する。
• 隣接スケール間のコストボリュームの一貫性を強制するための一般化されたチホノフ正則化項を導入する。
• スケール内コスト集約とスケール間正則化を組み合わせた新しい凸最適化目的関数を定式化し、解析的に解けるようにする。
• 既存のコスト集約手法を、元のカーネルを保持したまま、スケール間正則化を追加することでフレームワークに統合する。
• データセットに応じて、強度＋勾配またはシーケンス変換コスト関数を用いてコストボリュームを計算する。
• 閉形式解を用いて最適化問題を効率的に解き、リアルタイムまたはニアリアルタイムの性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 コスト集約におけるマルチスケール相互作用は、ステレオマッチング性能を顕著に向上させることができるか？
• RQ2 スケール間正則化は、既存のコスト集約手法のロバスト性をどのように向上させるか？
• RQ3 提案されたフレームワークは、単純なフィルタから複雑なフィルタまで、さまざまなコスト集約技術に一般化可能か？
• RQ4 正確性と細部の保持の観点から、スケール内とスケール間正則化の最適なバランスは何か？
• RQ5 本フレームワークは、テクスチャが乏しい領域や複雑な照明条件を有する挑戦的なデータセットでも性能を向上させられるか？

主な発見

• クロススケールコスト集約フレームワークは、Middlebury、KITTI、New Tsukubaの全テストデータセットで、すべての使用手法において顕著な性能向上を達成した。
• 単純なボックスフィルタ（BOX）でさえ、フレームワークと組み合わせることでNew Tsukubaで14.40%のOut-All誤差率を達成し、それらの手法を用いない場合のより複雑な手法を上回った。
• S+GFバージョンはNew Tsukubaで14.40%のOut-All誤差率を達成し、フレームワークが高性能な手法に対しても向上効果を示した。
• Middleburyでは、S+BOXバージョンがAvg-Noc誤差を7.37 pxから3.92 pxに低減させ、計算コストを最小限に抑えつつ顕著な改善を示した。
• 正則化パラメータλは性能に顕著な影響を及ぼすことが判明し、スケール間の一貫性と細部の保持のバランスを最適化する値が存在した。
• KITTIにおいても、NL、ST、BF、GFを含むすべてのテスト手法がフレームワークにより向上し、多様なステレオマッチングシナリオにわたる汎用性と有効性を確認した。