[論文レビュー] Left-Right Comparative Recurrent Model for Stereo Matching

Zequn Jie, Pengfei Wang+5 more|arXiv (Cornell University)|Apr 3, 2018

Advanced Vision and Imaging参考文献 25被引用数 12

ひとこと要約

本稿では、ソフトアテンション機構を備えた再帰的アーキテクチャを用いて、ステレオ視差推定と左右一貫性チェックを統合的に実行するエンドツーエンドの新しいLeft-Right Comparative Recurrent (LRCR)モデルを提案する。オンラインでの左右比較と信頼性の低い領域へのアテンション誘導を繰り返し行い、視差マップを段階的に改善することで、3000万パラメータでKITT1 2015、Scene Flow、Middleburyベンチマークで最先端の性能を達成し、従来手法を上回りながらも効率的な推論を維持している。

ABSTRACT

Leveraging the disparity information from both left and right views is crucial for stereo disparity estimation. Left-right consistency check is an effective way to enhance the disparity estimation by referring to the information from the opposite view. However, the conventional left-right consistency check is an isolated post-processing step and heavily hand-crafted. This paper proposes a novel left-right comparative recurrent model to perform left-right consistency checking jointly with disparity estimation. At each recurrent step, the model produces disparity results for both views, and then performs online left-right comparison to identify the mismatched regions which may probably contain erroneously labeled pixels. A soft attention mechanism is introduced, which employs the learned error maps for better guiding the model to selectively focus on refining the unreliable regions at the next recurrent step. In this way, the generated disparity maps are progressively improved by the proposed recurrent model. Extensive evaluations on KITTI 2015, Scene Flow and Middlebury benchmarks validate the effectiveness of our model, demonstrating that state-of-the-art stereo disparity estimation results can be achieved by this new model.

研究の動機と目的

• 従来の左右一貫性チェックには、特徴量が浅い依存性に起因する後処理的・手作業的・脆弱な欠点があるため、それらを是正すること。
• 視差推定と一貫性チェックを統合的に1つのエンドツーエンドで学習可能な再帰的フレームワークに統合し、相互に改善を促進すること。
• 学習済みの誤差マップをソフトアテンションガイドとして用い、自動的に信頼性の低い領域を特定・最適化する自己改善メカニズムを開発すること。
• 膨大なトレーニングデータや複雑なアーキテクチャに依存することなく、優れた視差推定性能を達成すること。

提案手法

• LRCRモデルは、ConvLSTMに基づく再帰的アーキテクチャを用い、各ステップで左右の入力ビューを並列に処理し、履歴的な視差推定値を保持する隠れ状態を維持する。
• 各再帰ステップで、両方のビューの視差マップを生成し、オンラインでの左右比較を実施して、一致しない領域を示す誤差マップを生成する。
• 誤差マップは、その後続の最適化ステップで、誤りの可能性が高くリスクの高い領域にネットワークが集中できるように、ソフトアテンションマップとして利用される。
• マッチングコスト学習にはハイブリッド定数ハイウェイネットワークを採用し、複数のConvLSTM層をスタックして、段階的に視差予測を改善する。
• 再帰的設計により、ネットワークは、微分可能でエンドツーエンドな方法で文脈的情報と一貫性チェックを活用して、予測を段階的に向上できる。
• トレーニングプロセスは、事前学習済み重みをScene Flowから取得し、Middleburyなどの小規模データセットでファインチューニングする二段階学習戦略で最適化されている。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの再帰的モデルは、視差推定と左右一貫性チェックを効果的に統合し、精度向上を実現できるか？
• RQ2 学習済みの誤差マップに基づくオンラインで反復的な最適化は、従来の後処理の一貫性チェックに比べてどのように優れているか？
• RQ3 左右比較に基づくソフトアテンション機構は、テクスチャが乏しい、オクルージョン領域、反射領域における誤りの検出・是正能力を向上させられるか？
• RQ4 標準的なステレオベンチマークにおいて、LRCRモデルは最先端手法に比べてどの程度の性能向上を達成できるか？

主な発見

• LRCRモデルはKITTI 2015ベンチマークで最先端の性能を達成し、はるかに大きなトレーニングデータセットに依存するエンドツーエンドモデルですら上回っている。
• Scene Flowデータセットでは、LRCRモデルは最先端のGC-NETを顕著に上回っており、再帰的ステップの各段階で一貫した改善が見られた。
• Middleburyベンチマークでは、非再帰的ベースラインおよび強力な先行手法MC-CNN-acrtを上回っており、屋内シーンにおける優れた一般化性能を示している。
• 再帰的ステップ数の増加に伴い、徐々に改善が見られ、相対的利得は時間経過とともに減少する傾向にあり、安定した高品質な予測に収束していることが示された。
• 3000万パラメータというわずかな規模にもかかわらず、CRL（7495万パラメータ）のようなより深いモデルと同等の結果を達成しており、高いパラメータ効率性を示している。
• LRCRモデルは、ベースライン手法と同等の推論時間を維持しながらも、顕著に高い精度を達成しており、実用的な効率性を示している。