[論文レビュー] A Novel Monocular Disparity Estimation Network with Domain Transformation and Ambiguity Learning

Juan Luis Gonzalez Bello, Munchurl Kim|arXiv (Cornell University)|Mar 20, 2019

Advanced Vision and Imaging参考文献 14被引用数 5

ひとこと要約

本論文は、フル解像度のスキップ接続、長方形畳み込み、エンコーダーとデコーダーの特徴量間のドメイン変換ブロック、および曇りマスク推定を統合することで、精度と効率を向上させる、新しい教師なし単眼視差推定ネットワーク rrdispnet_dtm を提案する。KITTI2015 において最先端の性能を達成し、モノデプスよりもすべての指標で優れている。1回の順方向伝搬でフル解像度の視差マップを生成し、パラメータ数も少ない。

ABSTRACT

Convolutional neural networks (CNN) have shown state-of-the-art results for low-level computer vision problems such as stereo and monocular disparity estimations, but still, have much room to further improve their performance in terms of accuracy, numbers of parameters, etc. Recent works have uncovered the advantages of using an unsupervised scheme to train CNN's to estimate monocular disparity, where only the relatively-easy-to-obtain stereo images are needed for training. We propose a novel encoder-decoder architecture that outperforms previous unsupervised monocular depth estimation networks by (i) taking into account ambiguities, (ii) efficient fusion between encoder and decoder features with rectangular convolutions and (iii) domain transformations between encoder and decoder. Our architecture outperforms the Monodepth baseline in all metrics, even with a considerable reduction of parameters. Furthermore, our architecture is capable of estimating a full disparity map in a single forward pass, whereas the baseline needs two passes. We perform extensive experiments to verify the effectiveness of our method on the KITTI dataset.

研究の動機と目的

• 教師なし単眼視差推定の限界、特に深度推定の曇りと特徴量統合の非効率性を解決すること。
• エンコーダーとデコーダー間のフル解像度特徴量とドメイン変換を組み込むことで、モノデプスベースラインを上回る性能を向上させること。
• 複数回の順方向伝搬や教師付きラベルを必要とせず、エンドツーエンドで1回の順方向伝搬で視差マップ予測を可能にすること。
• 曇りマスク推定と改善された特徴量統合により、細い構造物や横方向のアーチファクトに対してより頑健な性能を発揮すること。
• 独自のスマートフォンで撮影したデータセットを用いて、実世界の非KITTIデータセットへの一般化性能を示すこと。

提案手法

• 空間的詳細を保持するために、残差ブロックとフル解像度のスキップ接続を備えたエンコーダー・デコーダー構造を採用する。
• エンコーダーとデコーダー間の特徴量統合を効率的に行うために、長方形畳み込み（3×5）を導入し、空間的整合性を向上させる。
• エンコーダー特徴量を「左ドメイン」から「左-右ドメイン」にマッピングするドメイン変換ブロックを適用し、より効果的なクロスドメイン特徴量統合を実現する。
• 視差マップとともに曇りマスクを予測し、オクルージョンやテクスチャレスな領域のような不確実性領域を特定する。
• マルチコンponent損失（光度再構成損失、視差滑らかさ損失、一貫性損失）を用いて、教師なしで最適化する。
• 教師なし学習として、視差ラベルが不要なステレオ画像ペアを用い、ビュー合成を用いて深度推定を監視する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーとデコーダー特徴量間のドメイン変換は、教師なし単眼深度学習における視差推定精度を向上させることができるか？
• RQ2 曇りマスク予測は、オクルージョンやテクスチャレスな領域における視差推定の頑健性にどのように影響するか？
• RQ3 1回の順方向伝搬で、2回の伝搬を必要とするモデルを上回る性能を持つ完全な視差マップを生成できるか？
• RQ4 長方形畳み込みとフル解像度特徴量の統合により、パラメータ数を減らしつつ性能を向上させることができるか？
• RQ5 既存の教師なしベースラインと比較して、提案手法は実世界の非ラボデータセットへの一般化性能が優れているか？

主な発見

• rrdispnet_dtm モデルは KITTI2015 ベンチマークで最小の RMSE を達成し、すべての指標でモノデプス pp ベースラインを上回った。
• モノデプス pp とは異なり、rrdispnet_dtm は1回の順方向伝搬で完全な視差マップを生成した。
• rrdispnet_dtm は、細い構造物の検出において優れたシャープネスと正確性を示し、横方向のアーチファクトも低減した。
• ワープ RMSE が最小であり、左入力から合成された右ビューの忠実度が高いため、より優れた視差品質を裏付けた。
• 独自のスマートフォンで撮影したデータセットでも、rrdispnet_dtm はモノデプス pp よりも現実的で詳細がよく保たれた視差マップを生成し、遠方深度推定性能も向上した。
• ドメイン変換と長方形畳み込みを統合したモデル（rrdispnet_dtm）は、モノデプスよりもパラメータ数が少なく、性能はさらに優れていた。