[论文解读] Orientation-aware Semantic Segmentation on Icosahedron Spheres

Chao Zhang, Stephan Liwicki+2 more|arXiv (Cornell University)|Jul 30, 2019

Robotics and Sensor-Based Localization参考文献 27被引用 7

一句话总结

该论文提出了一种基于六边形卷积与基于弧长的插值方法，在二十面体球面上实现方向感知的语义分割，以在球面网格组件间保持方向一致性。通过设计专用的CNN算子——填充、池化、上采样及方向感知卷积，实现了在球面几何结构上的有效特征学习，取得了最先进性能，并可实现平面U-Net权重的直接迁移，仅需极少微调。

ABSTRACT

We address semantic segmentation on omnidirectional images, to leverage a holistic understanding of the surrounding scene for applications like autonomous driving systems. For the spherical domain, several methods recently adopt an icosahedron mesh, but systems are typically rotation invariant or require significant memory and parameters, thus enabling execution only at very low resolutions. In our work, we propose an orientation-aware CNN framework for the icosahedron mesh. Our representation allows for fast network operations, as our design simplifies to standard network operations of classical CNNs, but under consideration of north-aligned kernel convolutions for features on the sphere. We implement our representation and demonstrate its memory efficiency up-to a level-8 resolution mesh (equivalent to 640 x 1024 equirectangular images). Finally, since our kernels operate on the tangent of the sphere, standard feature weights, pretrained on perspective data, can be directly transferred with only small need for weight refinement. In our evaluation our orientation-aware CNN becomes a new state of the art for the recent 2D3DS dataset, and our Omni-SYNTHIA version of SYNTHIA. Rotation invariant classification and segmentation tasks are additionally presented for comparison to prior art.

研究动机与目标

• 通过在二十面体网格上引入方向感知卷积，解决球面语义分割中的方向模糊性挑战。
• 设计一种保持网格组件间几何一致性的球面CNN框架，通过专用算子实现。
• 实现预训练平面U-Net权重向球面网络的直接迁移，且无需完整微调。
• 通过新型球面U-Net架构，在2D3DS与Omni-SYNTHIA基准上实现具有竞争力的分割精度。
• 通过利用与网格拓扑对齐的六边形滤波器模式，提升球面表面的特征表示能力。

提出的方法

• 设计一种填充策略，通过基于弧长的插值方法，结合西、上、左、东、下、右邻居，处理二十面体网格的组件间连接性。
• 采用两个旋转滤波核（W1和W2）实现方向感知的六边形卷积，并通过学习的权重A_i插值结果，以保持北向对齐。
• 定义球面池化与双线性上采样操作，通过西向填充与步长控制，保持网格结构与组件连接性。
• 构建基于U-Net的架构（HexUNet），采用编码器-解码器模块与残差单元（ResBlocks），并使用逐点六边形卷积进行特征优化。
• 利用基于弧长的插值权重A_i，根据局部方向动态调整滤波响应，确保在不同网格组件间实现一致的特征学习。
• 使用交叉熵与加权交叉熵损失函数，结合Adam优化器进行训练，实现在多个分辨率层级下对二十面体网格的高效训练。

实验结果

研究问题

• RQ1 与标准球面CNN相比，方向感知卷积是否能提升球面表面的语义分割精度？
• RQ2 在无需完整重训练的情况下，预训练的平面U-Net权重能在多大程度上迁移到球面网络中？
• RQ3 所提出的球面CNN框架在2D3DS与Omni-SYNTHIA等基准数据集的不同分辨率层级上表现如何？
• RQ4 基于弧长的插值是否能有效在二十面体网格组件间保持特征学习的方向一致性？
• RQ5 架构设计选择（如残差块、池化、上采样）对分割性能与训练效率有何影响？

主要发现

• 所提出的HexUNet-T模型在分辨率r=8下，仅经10轮微调，即在Omni-SYNTHIA数据集上达到45.3%的mIoU，接近全量500轮训练的性能。
• 在分辨率r=8下，HexUNet在Omni-SYNTHIA上达到47.1%的mIoU，优于基线UGSCNN，且在分辨率提升时表现出强可扩展性。
• 该方法在高分辨率下成功分割了小物体与边界，对骑行人（在r=7与r=8时被误分类为行人）的识别准确率提升，且建筑物误分类率降低。
• 在2D3DS上的定性结果表明，该模型在处理颜色相近物体（如窗户与书柜）及模糊边界等复杂情况时，优于UGSCNN。
• 使用迁移权重后，仅经一轮重训练，模型即达到35.9%的mIoU，表明方向感知设计具有优异的泛化能力与训练效率。
• HexUNet的总参数量为7,245,101，可在单张1080Ti GPU上实现最高至分辨率层级8的训练，展现出良好的计算效率。