[论文解读] Flat2Sphere: Learning Spherical Convolution for Fast Features from 360° Imagery

Yu-Chuan Su, Kristen Grauman|arXiv (Cornell University)|Jan 1, 2017

Advanced Vision and Imaging参考文献 24被引用 13

一句话总结

本文提出Flat2Sphere，一种通过学习球面卷积将平面卷积神经网络（CNN）适配至直接处理360°等距投影图像的方法。通过训练网络以模仿平面滤波器响应，同时考虑球面失真，该方法在推理速度上比精确重投影方法快数个数量级，同时保持与之几乎相同的精度，从而实现360°视觉任务的高效特征提取。

ABSTRACT

While 360° cameras offer tremendous new possibilities in vision, graphics, and augmented reality, the spherical images they produce make core feature extraction non-trivial. Convolutional neural networks (CNNs) trained on images from perspective cameras yield “flat filters, yet 360° images cannot be projected to a single plane without significant distortion. A naive solution that repeatedly projects the viewing sphere to all tangent planes is accurate, but much too computationally intensive for real problems. We propose to learn a spherical convolutional network that translates a planar CNN to process 360° imagery directly in its equirectangular projection. Our approach learns to reproduce the flat filter outputs on 360° data, sensitive to the varying distortion effects across the viewing sphere. The key benefits are 1) efficient feature extraction for 360° images and video, and 2) the ability to leverage powerful pre-trained networks researchers have carefully honed (together with massive labeled image training sets) for perspective images. We validate our approach compared to several alternative methods in terms of both raw CNN output accuracy as well as applying a state-of-the-art “flat object detector to 360° data. Our method yields the most accurate results while saving orders of magnitude in computation versus the existing exact reprojection solution.

研究动机与目标

• 解决在360°等距投影图像上应用为透视图像训练的标准CNN所面临的挑战，因为这些图像存在严重的几何失真。
• 消除为特征提取而反复将球面图像投影到切平面所带来的计算负担。
• 实现无需从零开始重新训练，即可直接在360°数据上使用强大预训练CNN的目标。
• 在适应球面表面不同区域失真变化的同时，保持平面滤波器响应的精度。
• 为360°特征提取提供一种计算高效的替代方案，替代精确重投影方法。

提出的方法

• 该方法学习一种球面卷积层，将平面CNN滤波器映射为可直接在360°等距投影图像上操作。
• 通过训练网络，使其重现将相同图像经过精确球面重投影后，标准平面滤波器的输出结果。
• 使用损失函数对网络进行端到端优化，以最小化学习得到的球面滤波器输出与真实平面滤波器输出之间的差异。
• 该方法利用等距投影作为输入，避免了反复将图像投影到切平面的高成本操作。
• 可在对标准CNN架构进行最小修改的前提下，直接在360°图像上进行推理。
• 该方法与现有预训练模型兼容，支持从大规模标注数据集进行迁移学习。

实验结果

研究问题

• RQ1 在存在几何失真的情况下，所学习的球面卷积层能否准确重现标准平面滤波器在360°图像上的输出？
• RQ2 与基于精确重投影的特征提取方法相比，该方法在准确性和效率方面表现如何？
• RQ3 在不进行微调的情况下，该方法能在多大程度上将预训练的平面CNN适配至360°图像？
• RQ4 当应用于360°数据上的目标检测等下游任务时，该方法是否能保持高性能？
• RQ5 该方法能否在将计算量降低数个数量级的同时，实现与精确方法几乎相同的精度？

主要发现

• 所提出的方法在精度上与基于精确重投影的方法相当，后者被认为是360°图像特征提取的黄金标准。
• 与精确重投影方法相比，该方法将计算成本降低了数个数量级，从而实现了360°视频的实时或近实时推理。
• 该方法成功将预训练的平面CNN适配至360°数据，且无需重新训练即可保持其性能。
• 当应用于最先进的平面目标检测器时，该方法在所有评估方法中对360°数据的检测结果最为准确。
• 所学习的球面卷积能有效处理球面上不同区域的失真变化，生成一致且可靠的特征图。