[论文解读] Labeling Panoramas with Spherical Hourglass Networks

Carlos Esteves, Kostas Daniilidis+1 more|arXiv (Cornell University)|Sep 6, 2018

Advanced Vision and Imaging参考文献 2被引用 3

一句话总结

本文提出球面八爪鱼网络（SCHN），一种用于球面全景图密集语义标注的旋转等变深度学习模型，通过在频域中使用球面卷积实现。通过在八爪鱼架构中引入SO(3)-等变残差瓶颈模块，SCHN在无需仰俯姿态图像输入的情况下实现了球面语义分割的最先进性能，且在任意相机旋转下均优于标准2D CNN。

ABSTRACT

With the recent proliferation of consumer-grade 360° cameras, it is worth revisiting visual perception challenges with spherical cameras given the potential benefit of their global field of view. To this end we introduce a spherical convolutional hourglass network (SCHN) for the dense labeling on the sphere. The SCHN is invariant to camera orientation (lifting the usual requirement for `upright' panoramic images), and its design is scalable for larger practical datasets. Initial experiments show promising results on a spherical semantic segmentation task.

研究动机与目标

• 解决球面全景图在投影到2D平面时常见的畸变问题，实现密集像素级标注。
• 开发一种对相机姿态不敏感的深度学习模型，避免对所有3D旋转进行数据增强。
• 设计一种可扩展、高效的球面语义分割架构，在保持旋转等变性的同时支持高分辨率输出。
• 克服标准2D CNN在等距投影图上因球面拓扑结构而引入的人工畸变的局限性。

提出的方法

• 模型基于球面谐函数和频域操作实现球面卷积层，确保SO(3)-等变性。
• 采用包含1×1、3×3和1×1卷积的球面残差瓶颈模块，降低计算成本同时保持性能。
• 架构采用八爪鱼设计，通过下采样和上采样模块生成高分辨率密集预测结果。
• 通过少量球面傅里叶系数锚点实现滤波器定位，从而获得局部化、平滑且可变形的感受野。
• 网络在标注的球面全景图上使用监督损失进行训练，无需姿态特定的数据增强。
• 使用2D基线模型（2DHG）进行对比，将球面卷积替换为在等距投影图上的标准2D卷积。

实验结果

研究问题

• RQ1 能否在不依赖所有3D旋转数据增强的前提下，使深度学习模型实现球面全景图上的旋转等变语义分割？
• RQ2 在任意相机姿态下，基于球面CNN的八爪鱼网络与标准2D CNN在等距投影图上的泛化性能如何比较？
• RQ3 在球面网络中，使用局部化滤波器相较于全局滤波器在分割精度上提升的幅度有多大？
• RQ4 球面残差瓶颈模块设计是否能在保持高性能的同时降低密集标注任务在球面上的计算成本？

主要发现

• 在任意相机姿态下，SCHN在测试数据上取得0.5582的mIoU，优于2D基线模型（2DHG）在相同条件下的0.5292 mIoU。
• 在标准姿态下，SCHN取得0.5683 mIoU，表明即使在理想训练条件下，其性能依然强劲。
• 模型对未见姿态具有良好的泛化能力，当在标准姿态下训练、在任意姿态下测试时，mIoU达到0.5024，表明其对旋转具有强鲁棒性。
• 使用更大的模型变体（SCHN/large）可进一步提升性能，在标准姿态测试数据上达到0.5983 mIoU，显示出良好的可扩展性。
• 通过少量球面傅里叶锚点实现滤波器定位，性能优于全局滤波器，SCHN/global为0.5343 mIoU，而SCHN（局部滤波器）达到0.5376 mIoU。
• 所提出的架构在相同基准上优于先前工作如Im2Pano3D，后者在更具挑战性的外推任务上仅取得0.330 mIoU。