[論文レビュー] PanoFormer: Panorama Transformer for Indoor 360 Depth Estimation

Zhijie Shen, Chun-Yu Lin+4 more|arXiv (Cornell University)|Mar 17, 2022

Advanced Vision and Imaging被引用数 9

ひとこと要約

PanoFormerは、屋内360°深度推定のための最初のパノラマ特化型Transformerを提案する。接線パッチトークナイゼーションと学習可能なトークンフローを用いて、球面歪みを軽減し、幾何構造の認識を向上させる。Stanford2D3Dで最先端の性能を達成し、RMSE、P-RMSE、LRCEの観点で従来手法を大きく上回り、セマンティックセグメンテーションへの一般化性能も優れている。

ABSTRACT

Existing panoramic depth estimation methods based on convolutional neural networks (CNNs) focus on removing panoramic distortions, failing to perceive panoramic structures efficiently due to the fixed receptive field in CNNs. This paper proposes the panorama transformer (named PanoFormer) to estimate the depth in panorama images, with tangent patches from spherical domain, learnable token flows, and panorama specific metrics. In particular, we divide patches on the spherical tangent domain into tokens to reduce the negative effect of panoramic distortions. Since the geometric structures are essential for depth estimation, a self-attention module is redesigned with an additional learnable token flow. In addition, considering the characteristic of the spherical domain, we present two panorama-specific metrics to comprehensively evaluate the panoramic depth estimation models' performance. Extensive experiments demonstrate that our approach significantly outperforms the state-of-the-art (SOTA) methods. Furthermore, the proposed method can be effectively extended to solve semantic panorama segmentation, a similar pixel2pixel task. Code will be available.

研究の動機と目的

• CNNベースの手法がパノラマ深度推定において幾何的歪みを扱うのには限界があり、構造認識が不十分であるという問題に取り組む。
• 等距離図法による歪みにかかわらず、パノラマ構造をよりよく認識できるよう、球面画像に特化したTransformerアーキテクチャを設計する。
• 極領域の誤差と境界の一貫性を考慮した新たな評価指標（P-RMSEおよびLRCE）を導入する。
• 提案アーキテクチャが、最小限の変更で、セマンティックセグメンテーションなどの他のピクセル対ピクセルタスクへも拡張可能であることを示す。

提案手法

• 等距離図法による歪みの悪影響を軽減するため、球面パノラマを接線領域上の接線パッチに分割する。
• 歪みに配慮したサンプリングを可能にするために、等距離図法領域から接線領域へのトークン位置マッピングを実行する球面トークン位置特定モデル（STLM）を導入する。
• トークンフローをガイドする学習可能な重みパラメータを備えた自己注意機構を再設計し、物体構造に動的に適応可能にする。
• 標準のTransformerブロックを置き換えるパノラマ構造ガイド付きTransformer（PST）ブロックを提案し、階層的エンコーダ・デコーダアーキテクチャに統合する。
• 中心トークンに基づく相対的位置埋め込みを採用し、球面領域における注目 Localization を向上させる。
• 極領域とシーム境界での性能評価を目的とした、2つの新規指標（極の平均二乗誤差：P-RMSE および 左右一貫性誤差：LRCE）を導入する。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのアーキテクチャは、360°パノラマ深度推定における幾何的歪みを効果的に軽減できるか？
• RQ2 自己注意機構は、歪みのある球面画像における複雑な幾何的構造をどのように認識できるように適応できるか？
• RQ3 P-RMSE や LRCE といった新規指標は、標準指標に比べて、パノラマ深度推定モデルの性能をより包括的に評価できるか？
• RQ4 提案されたPSTブロックは、セマンティックセグメンテーションなどの他の密予測タスクへも効果的に転用可能か？

主な発見

• PanoFormerはStanford2D3DデータセットでテストRMSE 0.3366を達成し、CNNベースのベースライン（0.6704）と比較して49.8%の改善を示した。
• P-RMSEはベースラインの0.2258から0.1793に、LRCEは0.2733から0.1784に低下し、極領域および境界領域での優れた性能を示した。
• アブレーションスタディにより、接線パッチと学習可能なトークンフローの組み合わせが最大の性能向上をもたらし、標準の自己注意機構ベースラインと比較してRMSEが21%低減した。
• PSTブロックは幾何的構造認識を顕著に向上させたことが、定性的な結果から明らかになった。特に、ソファーのような変形物体に対しても、より正確な深度推定が可能となった。
• セマンティックセグメンテーションへの一般化性能も優れており、Stanford2D3DでmIoU 48.9%、mAcc 64.5%を達成し、前回SOTAをmIoUで5.6ポイント上回った。
• 提案されたP-RMSEおよびLRCE指標は、標準指標が検出できない高歪み領域やシーム領域における性能低下を効果的に捉えており、評価の包括性を高めている。