[論文レビュー] Parallax Attention for Unsupervised Stereo Correspondence Learning

Longguang Wang, Yulan Guo+5 more|arXiv (Cornell University)|Sep 16, 2020

Advanced Vision and Imaging参考文献 70被引用数 7

ひとこと要約

本稿では、固定最大視差を必要とせず、エピポーラ制約とアテンションベースの特徴マッチングを用いて、大きな視差変動に対してもステレオ対応を学習できる汎用的なパララックスアテンション機構（PAM）を提案する。PAMは、教師なしステレオマッチング（PASMnet）およびステレオ画像スーパーレゾリューション（PASSRnet）で最先端の性能を達成可能であり、学習および評価を支援する新しい大規模データセットFlickr1024を提供する。

ABSTRACT

Stereo image pairs encode 3D scene cues into stereo correspondences between the left and right images. To exploit 3D cues within stereo images, recent CNN based methods commonly use cost volume techniques to capture stereo correspondence over large disparities. However, since disparities can vary significantly for stereo cameras with different baselines, focal lengths and resolutions, the fixed maximum disparity used in cost volume techniques hinders them to handle different stereo image pairs with large disparity variations. In this paper, we propose a generic parallax-attention mechanism (PAM) to capture stereo correspondence regardless of disparity variations. Our PAM integrates epipolar constraints with attention mechanism to calculate feature similarities along the epipolar line to capture stereo correspondence. Based on our PAM, we propose a parallax-attention stereo matching network (PASMnet) and a parallax-attention stereo image super-resolution network (PASSRnet) for stereo matching and stereo image super-resolution tasks. Moreover, we introduce a new and large-scale dataset named Flickr1024 for stereo image super-resolution. Experimental results show that our PAM is generic and can effectively learn stereo correspondence under large disparity variations in an unsupervised manner. Comparative results show that our PASMnet and PASSRnet achieve the state-of-the-art performance.

研究の動機と目的

• カメラ基準面の違い、焦点距離、解像度の変動に起因する大きな視差変動に対処する課題に対処すること。
• コストボリュームベースの手法における固定最大視差の制限が、多様なステレオ画像ペアにおける性能を制限する問題を克服すること。
• エピポーラ幾何学と特徴アテンションを統合した、汎用的でコンactなアテンション機構を考案し、正確なステレオ対応を実現すること。
• 提案手法を、ステレオマッチングおよびステレオ画像スーパーレゾリューションを含む複数のタスクに拡張し、最先端の結果を達成すること。

提案手法

• 行列乗算を用いてシフト演算の代わりにエピポーラ線に沿った特徴類似度を計算するパララックスアテンション機構（PAM）を提案する。
• アテンション機構にエピポーラ制約を統合し、左画像と右画像間で最も類似した特徴に注目することで、大きな視差においても堅牢なマッチングを実現する。
• 滑らかさおよびサイクル整合性損失によるアテンションマップへの直接正則化を実施し、視差回帰におけるあいまいさを回避する。
• PAMを用いて教師なしステレオマッチング用のPASMnetと、ステレオ画像スーパーレゾリューション用のPASSRnetを構築し、両者を教師なしで学習する。
• 1024枚の高品質なステレオペアを含み、多様なシーンと視差をカバーする、新しい大規模データセットFlickr1024を活用する。
• 明示的な視差回帰を避けるために行列演算を活用し、ハードコードされた視差範囲の制限なしにエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 固定最大視差に依存せず、大きな視差変動にわたって深層学習手法がステレオ対応を堅牢に学習できるか。
• RQ2 アテンション機構とエピポーラ幾何学を統合することで、教師なし設定下でのステレオマッチング精度がどのように向上するか。
• RQ3 提案されたパララックスアテンション機構は、ステレオマッチングやスーパーレゾリューションを含む複数のステレオビジョンタスクに一般化可能か。
• RQ4 固定視差範囲が存在しないことで、極端な視差を有するステレオ画像ペアにおける性能がどの程度向上するか。
• RQ5 従来のコストボリュームベースの手法と比較して、効率性、正確性、多様なカメラ設定における一般化性能の観点から、本手法はどのように差をつけるか。

主な発見

• 小規模な深度を有するステレオ画像ペアにおいて、PASSRnetは39.03 dBのPSNRを達成し、StereoSRを1.43 dB上回る。
• 大基準面ステレオペアにおいて、PASSRnetはStereoSRを1.30 dB上回り、大きな視差に強いことを示した。
• PASMnetは教師なしステレオマッチングで最先端の性能を達成し、KITTIデータセットにおいてベースライン手法よりも1.20 dBのPSNR向上を達成した。
• PASSRnetは計算コストを低減し、低解像度画像への不要なパディングを回避し、StereoSRよりも高い効率性を示した。
• 提案されたFlickr1024データセットは、多様なシーンタイプと視差範囲をカバーするため、効果的な学習と評価を可能にした。
• アブレーションスタディにより、アテンションマップへの直接正則化が従来の視差回帰よりも性能向上をもたらし、コスト分布のあいまいさを低減することが確認された。