[論文レビュー] Spherical View Synthesis for Self-Supervised 360 Depth Estimation

Nikolaos Zioulis, Antonis Karakottas+3 more|arXiv (Cornell University)|Sep 17, 2019

Advanced Vision and Imaging参考文献 50被引用数 8

ひとこと要約

本稿では、球面ビュー合成を用いた360°深度推定の自己教師付き手法を提案する。幾何学的に導出された視差モデルと球面アテンションを活用し、等角投影における歪みを是正する。大規模な360°データセットにおいて最先端の性能を達成しており、ビュー合成の自己教師付き手法は直接教師付き手法に劣ることが示唆され、高品質な深度推定には代替手法がより効果的である可能性がある。

ABSTRACT

Learning based approaches for depth perception are limited by the availability of clean training data. This has led to the utilization of view synthesis as an indirect objective for learning depth estimation using efficient data acquisition procedures. Nonetheless, most research focuses on pinhole based monocular vision, with scarce works presenting results for omnidirectional input. In this work, we explore spherical view synthesis for learning monocular 360 depth in a self-supervised manner and demonstrate its feasibility. Under a purely geometrically derived formulation we present results for horizontal and vertical baselines, as well as for the trinocular case. Further, we show how to better exploit the expressiveness of traditional CNNs when applied to the equirectangular domain in an efficient manner. Finally, given the availability of ground truth depth data, our work is uniquely positioned to compare view synthesis against direct supervision in a consistent and fair manner. The results indicate that alternative research directions might be better suited to enable higher quality depth perception. Our data, models and code are publicly available at https://vcl3d.github.io/SphericalViewSynthesis/.

研究の動機と目的

• 等角投影による歪みと一貫性の欠片な自己教師付き360°深度推定を可能にする。
• 球面ステレオ設定における水平・垂直・三眼基準点の幾何学的根拠に基づいた堅牢な視差モデルを開発する。
• CoordConvと球面アテンション機構を組み込むことで、等角投影データにおけるCNNの効率を向上させる。
• 大規模かつ多様な360°深度データセット（真値を備える）を用いて、ビュー合成と直接教師付き手法の公平かつ一貫性のある比較を提供する。
• 再現可能性とベンチマークのため、公開可能な360°ステレオデータセット、モデル、コードをリリースする。

提案手法

• 球面ステレオ設定における水平・垂直・三眼基準点をカバーする、幾何学的に導出された完全な球面視差モデルを構築する。
• 球面アテンションを用いたDIBR（深度画像ベースレンダリング）を用いて合成ビューを生成し、訓練の安定性を高め、歪みに起因する誤差を低減する。
• 球面アテンションマップを導入し、特に水平基準点においてERPの歪みを軽減する。勾配を関連する領域に集中させることで性能を向上させる。
• 座標情報を注入することで特徴学習を強化するCoordConvレイヤーを統合し、水平および垂直基準点における性能を向上させる。
• 幾何的一致性損失を用いた逆ワープを採用するが、標準的なワープの代わりにDIBRスプラッティングを導入し、球面上で一貫性のある自己教師付き学習を保証する。
• ネットワークは、新しく収集した360°データセットからのステレオペアを用いてエンドツーエンドに学習し、真値深度ではなくビュー合成から得られる自己教師信号を用いる。

実験結果

リサーチクエスチョン

• RQ1 等角投影による歪みとエピポーラ特異点の影響を受ける中で、球面ビュー合成を自己教師付き360°深度推定に効果的に応用できるか？
• RQ2 大規模な360°データセット上で、公平かつ一貫性のある評価において、ビュー合成自己教師付き手法と直接教師付き手法の性能はどのように比較されるか？
• RQ3 球面アテンションとCoordConvは、等角投影入力における深度推定の性能向上に果たす役割は何か？
• RQ4 基準点の選択（水平・垂直・三眼）が、自己教師付き360°深度推定の品質に顕著な影響を与えるか？
• RQ5 自己教師付きビュー合成は、高品質な360°深度推定への有効な道筋であるか、それとも合成データやより良いデータ収集手法がより効果的であるか？

主な発見

• 提案手法はSunCGデータセットにおいて最先端の性能を達成し、UD基準点で相対誤差0.119、delta1精度66.4%を記録した。
• 球面アテンションはLR基準点での性能を顕著に向上させた（アテンションなし：RMSE 0.269、アテンションあり：RMSE 0.143）、一方UD基準点ではほとんど効果がなかった。
• CoordConvはUD基準点での性能を向上させた（アテンションなし：RMSE 0.138、アテンションあり：RMSE 0.134）、垂直設定における空間幾何の処理が改善されたことを示唆している。
• より多様なSunCGテストセットにおいて、本手法は[41]を上回り、72.2%のdelta1精度を達成した（PanoSunCGでは64.7%）。[41]はより小さい・多様性に欠けるデータセットではわずかに優れていたが、本手法はより広範なテスト環境で優位性を示した。
• ビュー合成と直接教師付き手法の比較から、直接教師付き手法が顕著に優れた結果を示した。これは、自己教師付き手法が高精度な360°深度推定には最適でない可能性を示唆している。
• 著者らは大規模で公開可能な360°ステレオデータセットとコードをリリースし、今後のベンチマークと再現可能性を支援している。