[论文解读] PanoFormer: Panorama Transformer for Indoor 360 Depth Estimation

Zhijie Shen, Chun-Yu Lin+4 more|arXiv (Cornell University)|Mar 17, 2022

Advanced Vision and Imaging被引用 9

一句话总结

PanoFormer 提出了一种专用于全景图的 Transformer 模型，用于室内 360° 深度估计，通过切面贴片标记化和可学习标记流动，减轻球面畸变并增强几何结构感知能力。该方法在 Stanford2D3D 数据集上达到最先进性能，RMSE、P-RMSE 和 LRCE 指标显著优于先前方法，并在语义分割任务上展现出良好的泛化能力。

ABSTRACT

Existing panoramic depth estimation methods based on convolutional neural networks (CNNs) focus on removing panoramic distortions, failing to perceive panoramic structures efficiently due to the fixed receptive field in CNNs. This paper proposes the panorama transformer (named PanoFormer) to estimate the depth in panorama images, with tangent patches from spherical domain, learnable token flows, and panorama specific metrics. In particular, we divide patches on the spherical tangent domain into tokens to reduce the negative effect of panoramic distortions. Since the geometric structures are essential for depth estimation, a self-attention module is redesigned with an additional learnable token flow. In addition, considering the characteristic of the spherical domain, we present two panorama-specific metrics to comprehensively evaluate the panoramic depth estimation models' performance. Extensive experiments demonstrate that our approach significantly outperforms the state-of-the-art (SOTA) methods. Furthermore, the proposed method can be effectively extended to solve semantic panorama segmentation, a similar pixel2pixel task. Code will be available.

研究动机与目标

• 为解决基于 CNN 的方法在处理全景深度估计中几何畸变和结构感知能力差的局限性。
• 设计一种专为球面图像优化的 Transformer 架构，以在等距圆柱投影畸变下更好地感知全景结构。
• 提出新型评估指标——P-RMSE 和 LRCE，以考虑全景深度图中极地区域误差与边界一致性。
• 证明所提架构在其他像素到像素任务（如语义分割）中的可扩展性，仅需极少修改。

提出的方法

• 将球面全景图划分为切面贴片，置于切面域中，以减少等距圆柱投影畸变的负面影响。
• 引入球面标记定位模型（STLM），将标记位置从等距圆柱域映射到切面域，实现畸变感知采样。
• 重新设计自注意力机制，引入可学习权重参数以引导标记流动，实现对物体结构的动态适应。
• 提出全景结构引导 Transformer（PST）模块，替代层级编码器-解码器架构中的标准 Transformer 模块。
• 基于中心标记设计相对位置嵌入，提升球面域中注意力机制的定位能力。
• 引入两种新型指标——极地均方根误差（P-RMSE）与左右一致性误差（LRCE），用于评估极地区域与接缝边界的表现。

实验结果

研究问题

• RQ1 基于 Transformer 的架构能否有效缓解 360° 全景深度估计中的几何畸变？
• RQ2 自注意力机制如何适应在畸变球面图像中感知复杂几何结构？
• RQ3 与标准指标相比，P-RMSE 和 LRCE 等新型指标在多大程度上能更全面地评估全景深度估计模型的性能？
• RQ4 所提出的 PST 模块能否有效迁移至其他全景图像密集预测任务（如语义分割）？

主要发现

• PanoFormer 在 Stanford2D3D 数据集上测试 RMSE 达 0.3366，相比基于 CNN 的基线模型（0.6704）提升 49.8%。
• 模型将 P-RMSE 从基线的 0.2258 降低至 0.1793，LRCE 从 0.2733 降低至 0.1784，表明在极地区域与边界区域表现更优。
• 消融实验证实，切面贴片与可学习标记流动的组合带来最大性能提升，相比标准注意力基线，RMSE 降低 21%。
• PST 模块显著提升了几何结构感知能力，定性结果表明其在沙发等形变物体上实现了更精确的深度估计。
• 该模型在语义分割任务上泛化效果良好，在 Stanford2D3D 上达到 48.9% 的 mIoU 和 64.5% 的 mAcc，mIoU 相比之前 SOTA 提升 5.6 个百分点。
• 所提出的 P-RMSE 和 LRCE 指标能有效捕捉高畸变区域与接缝区域的性能退化，而标准指标则难以检测此类问题。