[論文レビュー] GLPanoDepth: Global-to-Local Panoramic Depth Estimation

Jiayang Bai, Shuichang Lai+3 more|arXiv (Cornell University)|Feb 6, 2022

Advanced Vision and Imaging被引用数 10

ひとこと要約

GLPanoDepthは、等距円筒図法パノラマから歪みのないグローバル特徴を抽出するための新規なキューブマップビジョントランスフォーマー（CViT）を用いた、モノクローラルパノラマ深度推定のグローバル・トゥ・ローカルディープラーニングフレームワークを提案する。このフレームワークは、ローカルな詳細を捉えるための畳み込みブランチと、特徴統合のためのゲート付きフュージョンモジュールを組み合わせており、複数のベンチマークで最先端の性能を達成している。

ABSTRACT

In this paper, we propose a learning-based method for predicting dense depth values of a scene from a monocular omnidirectional image. An omnidirectional image has a full field-of-view, providing much more complete descriptions of the scene than perspective images. However, fully-convolutional networks that most current solutions rely on fail to capture rich global contexts from the panorama. To address this issue and also the distortion of equirectangular projection in the panorama, we propose Cubemap Vision Transformers (CViT), a new transformer-based architecture that can model long-range dependencies and extract distortion-free global features from the panorama. We show that cubemap vision transformers have a global receptive field at every stage and can provide globally coherent predictions for spherical signals. To preserve important local features, we further design a convolution-based branch in our pipeline (dubbed GLPanoDepth) and fuse global features from cubemap vision transformers at multiple scales. This global-to-local strategy allows us to fully exploit useful global and local features in the panorama, achieving state-of-the-art performance in panoramic depth estimation.

研究の動機と目的

• パノラマ深度推定における完全畳み込みネットワークのグローバルコンテキストモデリングの限界を解決すること。
• オムニディレクショナル画像の等距円筒図法投影に内在する空間依存の歪みを克服すること。
• ビジョントランスフォーマーの長距離依存性モデリングを活用しながら、専用のCNNブランチによってローカルな空間構造を保持すること。
• 複数スケールでグローバルおよびローカル特徴を統合する2ブランチアーキテクチャを開発し、深度推定の品質を向上させること。
• シーンの方位や重力方向の整列に関する強い仮定を必要とせず、パノラマ深度推定ベンチマークで最先端の性能を達成すること。

提案手法

• 球面パノラマをキューブマップに投影することで等距円筒図法の歪みを解消し、グローバル特徴抽出を可能にする、ビジョントランスフォーマーの変種であるキューブマップビジョントランスフォーマー（CViT）を提案する。
• 2ストリームネットワークを設計：一方のブランチではCViTを用いてキューブマップ投影からの歪みのないグローバル特徴を抽出し、もう一方のブランチでは標準の畳み込み層を用いてローカルで高周波数の詳細を捉える。
• 空間的コンテキストに基づく動的特徴重み付けを可能にする、段階的な特徴統合を実現するマルチスケールゲート付きフュージョンモジュールを実装する。
• マルチステージ特徴からの最終的な深度予測をアップサンプリングおよび精緻化するために、RefineNetベースの特徴統合ブロックを活用する。
• 回帰とエッジに配慮した成分を含む損失関数を用いて、標準的な深度監視によりエンド・ツー・エンドのネットワークを訓練する。
• 一般化性能を向上させるために、データオーグメンテーションおよび正規化技術を適用し、とくにスパースな深度アノテーションを有する困難なデータセットに対して有効である。

Figure 1 : We propose a global-to-local approach ( i.e. , GLPanoDepth) to recover a dense depth map from a single panorama. Benefited from the rich global information that have been extracted, the proposed method is able to preserve both global structures and local details as shown in 2D depth maps

実験結果

リサーチクエスチョン

• RQ1 ビジョントランスフォーマーに基づくアーキテクチャは、等距円筒図法の投影による歪みを回避しつつ、オムニディレクショナルパノラマ画像における長距離依存性を効果的にモデリングできるか？
• RQ2 歪みのないキューブマップベースのトランスフォーマーからのグローバル特徴と、畳み込みネットワークからのローカル特徴を統合することで、パノラマ深度推定はどのように向上するか？
• RQ3 高精度な深度マップをモノクローラルパノラマから得るうえで、グローバルコンテキストモデリングとローカルテクスチャの保持の相対的寄与度は何か？
• RQ4 ゲート付きフュージョン機構は、グローバルおよびローカル特徴を統合するうえで、単純な連結よりも優れているか？
• RQ5 提案手法の性能は、特に低データ環境下において、データセットのサイズと多様性にどの程度依存するか？

主な発見

• GLPanoDepthは、NYUv2、KITTI、Stanford2D3Dを含む複数のパノラマ深度推定ベンチマークで最先端の性能を達成した。
• アブレーションスタディにより、CNNブランチを削除した場合（Ours(CViT)）は、いすの脚や本棚の縁といった小さな構造物における細部の損失が顕著に顕在した。
• CViTを標準のViTに置き換えた場合（Ours(ViT+CNN)）は、等距円筒図法入力に起因する歪みが是正されず、性能が劣化した。これはキューブマップ投影の必要性を示している。
• ゲート付きフュージョンモジュールは、定量的指標および定性的結果の両方で単純な連結を上回り、より鋭いエッジと優れた前景・背景分離を実現した。
• ゲート付きフュージョンモジュールを用いることで、収束が速く、一般化性能が向上した。これは、訓練安定性と特徴学習効率の向上を示している。
• Stanford2D3D（1,413枚の画像）のような小規模データセットでは、単一のCViTブランチが収束しないという限界が示された。これは、トランスフォーマーに基づくモデルに大規模な学習データが必要であることを示唆している。

Figure 2 : The overall architecture of GLPanoDepth. In the CViT branch, a cubemap is transformed into tokens by extracting non-overlapping patches on each face, followed by a linear projection of their flattened representation. This image embedding is augmented with a positional embedding and is pas