[論文レビュー] Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches

Jure Žbontar, Yann LeCun|arXiv (Cornell University)|Oct 20, 2015

Advanced Vision and Imaging参考文献 32被引用数 939

ひとこと要約

本論文は、画像パッチ間の類似度を学習して一致コストを計算する畳み込みニューラルネットワーク（CNN）ベースの手法を提案する。教師ありのパッチペアデータセットを用いて、既知の視差が与えられた状態で訓練することで、KITTI 2012、KITTI 2015、Middleburyデータセットにおいて先行手法を上回り、高速なアーキテクチャによりリアルタイム性能を実現した最先端の精度を達成した。

ABSTRACT

We present a method for extracting depth information from a rectified image pair. Our approach focuses on the first stage of many stereo algorithms: the matching cost computation. We approach the problem by learning a similarity measure on small image patches using a convolutional neural network. Training is carried out in a supervised manner by constructing a binary classification data set with examples of similar and dissimilar pairs of patches. We examine two network architectures for this task: one tuned for speed, the other for accuracy. The output of the convolutional neural network is used to initialize the stereo matching cost. A series of post-processing steps follow: cross-based cost aggregation, semiglobal matching, a left-right consistency check, subpixel enhancement, a median filter, and a bilateral filter. We evaluate our method on the KITTI 2012, KITTI 2015, and Middlebury stereo data sets and show that it outperforms other approaches on all three data sets.

研究の動機と目的

• 深層学習を用いて、画像パッチ間の堅牢な類似度測度を学習することでステレオマッチングを改善すること。
• ステレオマッチングの第一段階である一致コスト計算の課題に、手作業で設計されたメトリクスに代わる学習可能なCNNベースのアプローチを導入すること。
• リアルタイム推論を可能にする高速なバージョンと、高い精度を求めるバージョンの2つのCNNアーキテクチャを開発し、性能と推論時間のトレードオフを可能にすること。
• トランスファーラーニングを用いて、KITTI 2012、KITTI 2015、Middleburyなど多様なステレオデータセットに一般化できることを示すこと。
• 学習、推論、後処理ステップを含む完全に再現可能なパイプラインを提供すること。

提案手法

• 教師ありデータセット（真値の視差が与えられた）を用い、画像パッチペアを類似または不類似に分類するようにCNNを訓練し、バイナリクロスエントロピー損失を用いる。
• 2つのアーキテクチャを用いる：リアルタイム推論を目的とした層数とフィルタ数を減らした高速ネットワーク、および深く、受容 field が広い高精度ネットワーク。
• CNNの出力を用いて、左画像と右画像の対応するパッチ間の類似度スコアを計算し、ステレオマッチングコストを初期化する。
• 局所的な画像強度の一貫性を活用してコストを平滑化するため、クロスベースのコスト集約を適用する。
• 左-右一貫性チェックを伴うセミグローバルマッチング（SGM）を用いて、滑らかさを保ちつつ誤った視差を除去する。
• 最終的な高密度視差マップを生成するために、サブピクセルの微調整、中央値フィルタリング、バイリテラルフィルタリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 従来の手作業で設計されたメトリクス（例：SSD や NCC）と比較して、深層CNNがステレオマッチングのための優れた類似度測度を学習できるか？
• RQ2 KITTI や Middlebury などの多様なステレオデータセットに、CNNベースの一致コストの性能がどの程度一般化されるか？
• RQ3 CNNアーキテクチャのハイパーパrameterを変更した場合、精度と推論速度のトレードオフはどのように変化するか？
• RQ4 トレーニングデータセットのサイズが、CNNベースのステレオ手法の一般化性能と検証誤差に与える影響は何か？
• RQ5 Middleburyで学習したCNNが、微調整なしにKITTIなど別のデータセットにどの程度適応可能か？

主な発見

• CNNベースの手法は、KITTI 2012、KITTI 2015、Middleburyのステレオベンチマークで、これまでに発表されたあらゆる手法を上回り、最小の誤差率を達成した。
• 高精度CNNアーキテクチャは、KITTI 2012で平均終点誤差（AEE）を2.97ピクセルまで低下させ、KITTI 2015では3.23ピクセルまで低下させ、最良の設定ではそれぞれ2.60と3.23ピクセルを達成した。
• 高速アーキテクチャは、高精度バージョンに比べて最大90倍速く推論が可能であり、誤差はわずか約0.5ピクセル増加にとどまり、強力なリアルタイム性能を示した。
• トランスファーラーニングの結果、Middleburyで学習したCNNはKITTIに良好に一般化され、KITTIで学習したモデルと同等の検証誤差を達成した。
• ネットワークの深さと幅を増やすことで、一般化性能が向上するが、データ制限のためある点を過ぎると性能が劣化し、飽和効果が見られた。
• ハイパーパramータースキャンの結果、最適な性能は128の特徴マップ、5層の畳み込み層、4層の全結合層、および特定の負例サンプリング比（dataset_neg_low=1.5、dataset_neg_high=18）で達成された。