[論文レビュー] 360SD-Net: 360° Stereo Depth Estimation with Learnable Cost Volume

Ning-Hsu Wang, Bolivar Solarte+3 more|arXiv (Cornell University)|Nov 11, 2019

Advanced Vision and Imaging参考文献 35被引用数 7

ひとこと要約

360SD-Net は、トップ・ボトムの等角図形画像ペアを用いた 360° ステレオ深度推定のエンド・ツー・エンドのディープラーニングフレームワークを提案する。歪みを軽減するために学習可能なコストボリュームと極座標の符号化を採用し、合成された 360° ステレオデータセットで最先端の性能を達成するとともに、一般化性能も高く、一般消費者用カメラを用いた実世界のシーンに対しても有効である。

ABSTRACT

Recently, end-to-end trainable deep neural networks have significantly improved stereo depth estimation for perspective images. However, 360° images captured under equirectangular projection cannot benefit from directly adopting existing methods due to distortion introduced (i.e., lines in 3D are not projected onto lines in 2D). To tackle this issue, we present a novel architecture specifically designed for spherical disparity using the setting of top-bottom 360° camera pairs. Moreover, we propose to mitigate the distortion issue by (1) an additional input branch capturing the position and relation of each pixel in the spherical coordinate, and (2) a cost volume built upon a learnable shifting filter. Due to the lack of 360° stereo data, we collect two 360° stereo datasets from Matterport3D and Stanford3D for training and evaluation. Extensive experiments and ablation study are provided to validate our method against existing algorithms. Finally, we show promising results on real-world environments capturing images with two consumer-level cameras.

研究の動機と目的

• 標準的なステレオ深度推定手法の直接適用を妨げる、等角図形 360° 画像における著しい歪みの課題に対処すること。
• エピポーラ線の整合性を保つために、トップ・ボトムの 360° カメラ構成に特化した新しいディープラーニングアーキテクチャを設計すること。
• 球面座標情報（極座標）と学習可能なシフトフィルタをコストボリューム構築に組み込むことで、幾何的歪みの影響を軽減すること。
• 学習および評価用に真値の深度/視差が付与された、2つの新しい 360° ステレオデータセット（MP3D および SF3D）を収集・公開すること。
• 合成データで学習したモデルが、一般消費者用の 360° カメラを用いた実世界環境へどのように一般化するかを実証すること。

提案手法

• 球面投影における空間的歪みをモデル化するため、RGB 画像特徴を処理するブランチと、極座標の符号化を処理するブランチの二重ブランチ入力ストリームを導入する。
• 固定ピクセルシフトの代わりに学習可能なシフトフィルタを用いることで、歪みレベルの変動に応じて適応的コスト集約が可能な学習可能なコストボリューム（LCV）モジュールを提案する。
• 多スケール特徴抽出と境界処理を強化するために、アトリウス空間的スフィンガーパンニング（ASPP）とリピケートドパディングを統合する。
• 視差および深度の教師あり損失を用いてネットワークをエンド・ツー・エンドに学習し、データオーグメンテーションにより耐性を向上させる。
• エピポーラ線を垂直方向に整列させるために、トップ・ボトムカメラ構成を用いることで、等角図形空間における照合探索を簡略化する。
• Matterport3D および Stanford3D からの合成データを用いてモデルを学習し、実世界への一般化のためのドメイン適応を実施する。

実験結果

リサーチクエスチョン

• RQ1 著しい幾何的歪み下で、学習可能なコストボリューム機構が、標準的な固定シフトコストボリュームを上回る性能を示すか？
• RQ2 極座標情報の組み込みが、等角図形 360° 画像における深度推定精度にどの程度寄与するか？
• RQ3 合成された 360° ステレオデータで学習したモデルが、一般消費者用 360° カメラを用いた実世界環境へどの程度一般化するか？
• RQ4 コストボリュームにおける学習可能なシフトフィルタの最適な初期ステップサイズは何か？ そしてそれが性能に与える影響は？
• RQ5 提案されたアーキテクチャは、古典的手法およびディープラーニング手法を含め、360° データにおいて最先端の性能を達成するか？

主な発見

• 360SD-Net は、MP3D および SF3D の合成された 360° ステレオデータセットで最先端の性能を達成し、深度推定および視差推定の両面で PSMNet や GCNet を上回った。
• アブレーションスタディにより、極座標の符号化が MP3D において相対誤差で 1.2%、絶対誤差で 0.8% の性能向上をもたらすことが確認された。
• 初期ステップサイズが 1/3° の学習可能なコストボリューム（LCV）が最良の性能を示し、固定シフトベースライン比で 1.5% の向上を達成した。
• 実世界のシーンへの一般化性能が高く、2台の Insta360 ONE X カメラからの深度マップは、ドメインシフトが存在しても明確な物体構造と正確な点群再構築を示した。
• 定性的な結果から、特に歪みの強い領域や物体の境界部で、より鋭い深度マップとより正確な 3D ジオメトリが得られていることが明らかになった。
• PSMNet と比較してわずかな実行時間のオーバーヘッドしか追加せず、顕著な性能向上を達成しており、効率と精度のトレードオフの観点から優れた性能を示している。