[论文解读] A survey on Kornia: an Open Source Differentiable Computer Vision Library for PyTorch

Edgar Riba, Dmytro Mishkin+4 more|arXiv (Cornell University)|Sep 21, 2020

Advanced Neural Network Applications参考文献 62被引用 9

一句话总结

本文介绍了 Kornia，一个基于 PyTorch 构建的开源可微分计算机视觉库，支持 GPU 加速、批量处理和可微分实现经典视觉算法。通过将传统计算机视觉操作（如图像滤波、特征检测和几何变换）集成到可微分神经网络层中，Kornia 实现了反向传播的端到端训练，从而支持新型应用，例如对特征匹配的对抗性攻击。

ABSTRACT

This work presents Kornia, an open source computer vision library built upon a set of differentiable routines and modules that aims to solve generic computer vision problems. The package uses PyTorch as its main backend, not only for efficiency but also to take advantage of the reverse auto-differentiation engine to define and compute the gradient of complex functions. Inspired by OpenCV, Kornia is composed of a set of modules containing operators that can be integrated into neural networks to train models to perform a wide range of operations including image transformations,camera calibration, epipolar geometry, and low level image processing techniques, such as filtering and edge detection that operate directly on high dimensional tensor representations on graphical processing units, generating faster systems. Examples of classical vision problems implemented using our framework are provided including a benchmark comparing to existing vision libraries.

研究动机与目标

• 解决深度学习框架中经典计算机视觉算法缺乏可微分、GPU 加速实现的问题。
• 通过在神经网络中引入可微分视觉算子，弥合传统计算机视觉与深度学习之间的差距。
• 提供一个生产级、可扩展的库，支持批量处理、可微分和 GPU 优化的视觉操作，适用于研究与工业应用。
• 推动新型研究方向，如可微分图像处理层和经典视觉参数的可微分优化。
• 促进经典视觉模块与深度学习流水线的集成，以提升性能与可解释性。

提出的方法

• 使用原生 PyTorch 张量操作实现计算机视觉算子（如滤波、边缘检测、图像扭曲），以确保 GPU 加速与可微分性。
• 设计模块化组件用于几何（如单应矩阵、基础矩阵）、特征检测（如 Hessian 检测器）和描述（如 SIFT），确保其可微分并与 autograd 兼容。
• 利用 PyTorch 的分布式与数据并行能力，实现在多张 GPU 上对图像张量的批量处理。
• 利用 PyTorch 的反向模式自动微分，计算复杂视觉流水线中的梯度，支持端到端训练。
• 通过可微分层与现有深度学习工作流集成，可插入神经网络中并通过反向传播进行优化。
• 通过优化图像扰动以在给定单应矩阵下强制产生正确匹配，演示框架的实用性，采用结合位置、描述子与正则化项的可微分损失函数实现对特征匹配的对抗性攻击。

实验结果

研究问题

• RQ1 能否在深度学习框架中实现经典计算机视觉操作的完全可微分，并在 GPU 上高效执行？
• RQ2 可微分视觉算子在依赖经典视觉组件的深度神经网络训练中能发挥多大作用？
• RQ3 像 Kornia 这样的可微分视觉库在多大程度上能支持新型应用，如对局部特征匹配的对抗性攻击？
• RQ4 在可微分性与 GPU 支持方面，Kornia 与 OpenCV、torchvision 和 tf.image 等现有库相比，性能与功能集如何？
• RQ5 可微分视觉层是否能通过梯度优化减少经典视觉流水线中的人工超参数调优需求？

主要发现

• 在所调研的库中，Kornia 是唯一一个完全支持批量处理、可微分和 GPU 加速的经典计算机视觉任务实现的开源库。
• 该库实现了端到端可微分的图像处理，使滤波、扭曲和特征提取等操作的梯度能够反向传播。
• Kornia 有效实现了对局部特征匹配的可微分对抗性攻击，其中扰动被优化以生成与目标单应矩阵一致的匹配结果。
• 该框架支持广泛的视觉任务，包括图像配准、深度估计和特征匹配，性能与现有 GPU 优化库相当。
• Kornia 已被超过 50 个项目采用，获得 2450 个 GitHub 星标与 250 个分支，表明其获得广泛社区采纳与积极开发。
• 将可微分视觉算子集成到深度学习流水线中，可实现经典视觉参数的联合优化，减少对人工调参的依赖。