[論文レビュー] A Comparison of Stereo-Matching Cost between Convolutional Neural Network and Census for Satellite Images

Bihe Chen, Rongjun Qin+3 more|arXiv (Cornell University)|May 22, 2019

Advanced Vision and Imaging参考文献 6被引用数 4

ひとこと要約

本稿では、衛星画像におけるステレオマッチングコスト計算について、高速畳み込みニューラルネットワーク（fst-CNN）とCensus変換を比較している。半局所的マッチング（SGM）を用いることで、fst-CNNはCensusよりも高い絶対マッチング精度、より優れた誤差分布、および向上した完全性を達成しているが、両手法とも同程度の性能である。

ABSTRACT

Stereo dense image matching can be categorized to low-level feature based matching and deep feature based matching according to their matching cost metrics. Census has been proofed to be one of the most efficient low-level feature based matching methods, while fast Convolutional Neural Network (fst-CNN), as a deep feature based method, has small computing time and is robust for satellite images. Thus, a comparison between fst-CNN and census is critical for further studies in stereo dense image matching. This paper used cost function of fst-CNN and census to do stereo matching, then utilized semi-global matching method to obtain optimized disparity images. Those images are used to produce digital surface model to compare with ground truth points. It addresses that fstCNN performs better than census in the aspect of absolute matching accuracy, histogram of error distribution and matching completeness, but these two algorithms still performs in the same order of magnitude.

研究の動機と目的

• 深層学習ベースの（fst-CNN）と低レベル特徴ベースの（Census）ステレオマッチングコスト指標が衛星画像においてどのように性能を発揮するかを評価・比較すること。
• 異なるコスト関数が視差地図の品質およびデジタル表面モデル（DSM）の精度に与える影響を評価すること。
• fst-CNNの計算効率が、リモートセンシング応用においてCensusと比較して優れたマッチング性能にどのように結びつくかを特定すること。
• 困難な衛星画像におけるステレオマッチングの主要なパフォーマンス指標としてのマッチング完全性と誤差分布を分析すること。

提案手法

• 畳み込み層から抽出された深層特徴を用いて、fst-CNNに基づくコスト関数を適用し、ステレオマッチングコストを計算した。
• スライディングウィンドウ内の局所的な強度パターンに基づいて、Census変換を用いてマッチングコストを計算した。
• 両方のコスト関数から視差地図を最適化するために、半局所的マッチング（SGM）を採用した。
• 最適化された視差地図からデジタル表面モデル（DSMs）を生成し、真値点と比較した。
• 絶対マッチング精度、誤差分布ヒストグラム、マッチング完全性指標を用いて性能を評価した。
• 実世界のリモートセンシングシナリオに即した衛星画像ペアを用いて実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 衛星画像において、fst-CNNのステレオマッチング精度はCensusと比べてどの程度か？
• RQ2 fst-CNNとCensusベースのステレオマッチングにおける誤差分布の違いは何か？
• RQ3 fst-CNNとCensusは衛星画像においてマッチング完全性の面でどのように性能を発揮するか？
• RQ4 fst-CNNの計算上の利点が、Censusに対する測定可能な性能向上に結びつくか？
• RQ5 デジタル表面モデル生成の文脈において、fst-CNNとCensusの性能差は統計的に有意であるか？

主な発見

• fst-CNNは衛星画像においてCensus変換よりも高い絶対マッチング精度を達成している。
• fst-CNNの誤差分布は、Censusと比較してゼロの周りにより集中しており、大きな誤差が少ないことを示している。
• fst-CNNは、衛星画像に一般的に見られるテクスチャが乏しいまたはコントラストが低い領域において、優れたマッチング完全性を示している。
• 性能差が存在するものの、fst-CNNとCensusの両者は同程度の性能であるため、Censusは依然として強力なベースラインである。
• fst-CNNから生成された視差地図は、真値点との照合においてより正確なデジタル表面モデルを生成している。
• 結果から、Censusのような従来の低レベル特徴手法に比べ、深層特徴ベースの手法（例：fst-CNN）が衛星画像のステレオマッチングにおいて優れていることが確認された。