[论文解读] Kernel Transformer Networks for Compact Spherical Convolution

Yu-Chuan Su, Kristen Grauman|arXiv (Cornell University)|Dec 7, 2018

Advanced Vision and Imaging参考文献 40被引用 16

一句话总结

本文提出核变换网络（KTNs），一种高效地将预训练卷积神经网络（CNNs）从透视图图像迁移至360°全景球面图像的方法，通过学习一个函数来适应等距圆柱投影带来的畸变。KTNs 可在无需微调的情况下实现跨任务的模型迁移，以显著更低的显存占用实现当前最优的准确率，且优于直接应用于等距圆柱图和切平面投影的基线方法。

ABSTRACT

Ideally, 360° imagery could inherit the deep convolutional neural networks (CNNs) already trained with great success on perspective projection images. However, existing methods to transfer CNNs from perspective to spherical images introduce significant computational costs and/or degradations in accuracy. In this work, we present the Kernel Transformer Network (KTN). KTNs efficiently transfer convolution kernels from perspective images to the equirectangular projection of 360° images. Given a source CNN for perspective images as input, the KTN produces a function parameterized by a polar angle and kernel as output. Given a novel 360° image, that function in turn can compute convolutions for arbitrary layers and kernels as would the source CNN on the corresponding tangent plane projections. Distinct from all existing methods, KTNs allow model transfer: the same model can be applied to different source CNNs with the same base architecture. This enables application to multiple recognition tasks without re-training the KTN. Validating our approach with multiple source CNNs and datasets, we show that KTNs improve the state of the art for spherical convolution. KTNs successfully preserve the source CNN's accuracy, while offering transferability, scalability to typical image resolutions, and, in many cases, a substantially lower memory footprint.

研究动机与目标

• 为解决在不微调的前提下，将预训练于透视图图像的CNN迁移至360°球面图像的挑战。
• 克服现有方法的局限性，包括计算成本高、畸变导致的准确率下降，以及缺乏可迁移性。
• 开发一种紧凑且可复用的框架，通过学习的变换函数将源CNN卷积核适配至球面几何结构。

提出的方法

• KTN 学习一个由极角和源卷积核参数化的函数，用于将卷积核转换为适用于等距圆柱360°图像的形式。
• 该方法通过学习角度相关的卷积核变换，来补偿等距圆柱投影中的几何畸变。
• KTN 在训练过程中被优化以在360°图像的切平面投影上重现源CNN的输出，确保与原始模型的一致性。
• 该架构将卷积核变换与模型参数解耦，使得基于相同主干结构的多种源CNN均可实现可迁移性。
• KTN被实现为轻量级网络，仅使VGG网络的参数量增加25%。
• 模型通过监督损失在中间层特征上进行训练，以对齐源CNN在投影图像块上的行为。

实验结果

研究问题

• RQ1 是否可以使用单个KTN在不微调的情况下，将多个具有相同架构的预训练CNN迁移至360°图像？
• RQ2 KTN在准确率和效率方面与直接应用于等距圆柱图的方法及切平面投影方法相比表现如何？
• RQ3 KTN在显著降低360°数据上的显存占用的同时，能在多大程度上保持源CNN的准确率？
• RQ4 在深层网络中，KTN的表现如何，尤其是在插值误差随深度累积的场景下？
• RQ5 KTN能否泛化至多种识别任务，如目标检测和深度预测？

主要发现

• KTN在360°图像识别的Pascal VOC和ImageNet基准上均达到当前最优准确率，优于SphConv、SphereNet及投影基线方法。
• KTN模型比SphConv小数个数量级，对于基于VGG的网络，仅增加25%的参数量。
• KTN在不同源CNN（相同架构）上保持近乎一致的性能，展现出强大的可迁移性。
• 即使在最畸变最小的区域评估时，KTN仍优于等距圆柱图和立方体贴图投影的基线方法，表明其具有更强的鲁棒性。
• 随着网络深度增加，KTN与基于插值的方法（如SphereNet）之间的性能差距扩大，证实KTN有效避免了累积插值误差。
• 失败案例揭示了在处理极宽或罕见视角（如全身或俯视对象）时存在局限性，提示360°图像中存在数据分布偏移。