[论文解读] Convolutions on Spherical Images

Marc Eder, Jan‐Michael Frahm|arXiv (Cornell University)|May 21, 2019

Historical Geography and Cartography被引用 13

一句话总结

本文提出了一种新颖的球面图像表示方法，采用球面网格上的二十面体辛普森等积（ISEA）投影，以实现球面图像上高效且准确的卷积神经网络。通过利用制图学原理，该方法在语义分割准确率上相比最先进方法提升了12.6%。

ABSTRACT

Applying convolutional neural networks to spherical images requires particular considerations. We look to the millennia of work on cartographic map projections to provide the tools to define an optimal representation of spherical images for the convolution operation. We propose a representation for deep spherical image inference based on the icosahedral Snyder equal-area (ISEA) projection, a projection onto a geodesic grid, and show that it vastly exceeds the state-of-the-art for convolution on spherical images, improving semantic segmentation results by 12.6%.

研究动机与目标

• 为解决将卷积神经网络应用于缺乏标准网格结构的球面图像所面临的挑战。
• 开发一种能够保持球面数据几何与拓扑特性的表示方法，以实现有效的卷积操作。
• 利用制图学地图投影——特别是 ISEA 投影——实现最优的球面图像处理。
• 在球面图像上实现超越当前最先进方法的语义分割性能。
• 建立基于球面网格的框架，实现球面表面上高效且准确的深度学习。

提出的方法

• 该方法使用二十面体辛普森等积（ISEA）投影，将球面映射到球面网格上，最大限度减少面积和形状的失真。
• 它将球面图像转换为离散的、结构化的网格表示，适用于标准卷积操作。
• 球面网格确保了球面上均匀采样和一致的邻域关系，避免了极点奇点问题。
• 卷积层直接应用于 ISEA 投影后的网格上，支持使用标准 CNN 架构的端到端学习。
• 该方法继承了 ISE 投影的等积特性，保持了语义分割所必需的空间保真度。
• 该框架支持使用标准深度学习工具对球面图像进行可扩展且可微分的处理。

实验结果

研究问题

• RQ1 一种制图学上合理的投影是否能提升卷积神经网络在球面图像上的性能？
• RQ2 ISEA 投影与其它球面网格表示相比，在几何保真度和 CNN 性能方面表现如何？
• RQ3 基于球面网格的表示在多大程度上能提升球面数据的语义分割准确率？
• RQ4 使用等积投影是否能减少球面图像处理中的失真相关误差？
• RQ5 一种结构化且非矩形的网格能否在深度学习中支持有效且高效的卷积操作？

主要发现

• 所提出的基于 ISEA 的表示方法在语义分割准确率上相比先前最先进方法提升了 12.6%。
• 球面网格结构消除了传统等距圆柱投影中存在的极点奇点问题。
• ISE 投影的等积特性确保了球面上一致的空间表示。
• 该方法使标准卷积层可直接应用于球面数据，且失真程度极低。
• 由于更好地保持了局部与全局几何关系，该方法表现出更优的性能。
• 结果证实，制图学原理可被有效利用，以设计适用于球面图像的最优深度学习表示。