[论文解读] Accelerated Convolutions for Efficient Multi-Scale Time to Contact Computation in Julia

Alexander Amini, Berthold K. P. Horn+1 more|arXiv (Cornell University)|Dec 28, 2016

Advanced Image and Video Retrieval Techniques参考文献 7被引用 3

一句话总结

本文提出 FastConv，一个基于 Julia 的优化 n 维卷积库，用于机器视觉中的实时多尺度时间到碰撞（TTC）估计。通过算法优化和内存效率提升卷积运算，该方法相比现有方法将计算时间与内存使用量减少逾 10 倍，实现在合成视频数据上以约 10 Hz 的频率进行多尺度优化的实时 TTC 计算，且每帧处理时间低于 1 毫秒。

ABSTRACT

Convolutions have long been regarded as fundamental to applied mathematics, physics and engineering. Their mathematical elegance allows for common tasks such as numerical differentiation to be computed efficiently on large data sets. Efficient computation of convolutions is critical to artificial intelligence in real-time applications, like machine vision, where convolutions must be continuously and efficiently computed on tens to hundreds of kilobytes per second. In this paper, we explore how convolutions are used in fundamental machine vision applications. We present an accelerated n-dimensional convolution package in the high performance computing language, Julia, and demonstrate its efficacy in solving the time to contact problem for machine vision. Results are measured against synthetically generated videos and quantitatively assessed according to their mean squared error from the ground truth. We achieve over an order of magnitude decrease in compute time and allocated memory for comparable machine vision applications. All code is packaged and integrated into the official Julia Package Manager to be used in various other scenarios.

研究动机与目标

• 开发一种高性能、内存高效的卷积库，专为实时机器视觉应用而设计。
• 通过 n 维卷积加速自主系统中的时间到碰撞（TTC）与扩张焦点（FOE）计算。
• 通过多尺度分辨率处理，在资源受限的嵌入式设备上实现实时、低延迟的 TTC 估计。
• 将优化后的卷积与 TTC 处理流水线集成至官方 Julia 包管理器，以实现广泛复用与可重现性。
• 利用带有真实 TTC 标注的合成视频序列评估性能提升，实现定量验证。

提出的方法

• 在 Julia 中实现一种快速的 n 维卷积算法（FastConv），充分利用该语言的高性能计算能力。
• 通过有限差分法计算图像梯度 $E_x$、$E_y$ 和 $E_t$，从视频帧中提取。
• 应用多尺度下采样与渐进式优化，以提升 TTC 估计的准确性。
• 采用分块平均与低通滤波，在卷积前减少高分辨率图像中的噪声。
• 引入可分离核检测技术，将计算复杂度从 $O(n^2)$ 降低至 $O(n)$，适用于高斯核与导数等常见核。
• 采用基于 FFT 的卷积方法处理大尺寸核，扩展了直接卷积方法的应用范围。

实验结果

研究问题

• RQ1 基于 Julia 的卷积库能否在机器视觉工作负载上实现相比现有实现 10 倍的性能提升？
• RQ2 多尺度分辨率处理在合成视频序列中对时间到碰撞估计的准确性有何影响？
• RQ3 在保持高精度 TTC 与 FOE 计算的前提下，内存分配可减少到何种程度？
• RQ4 加速卷积方法能否在标准硬件上支持 10–30 Hz 的实时处理？
• RQ5 在缺乏环境先验知识的情况下，渐进式下采样在提升 TTC 估计性能方面的有效性如何？

主要发现

• FastConv 相较基线实现，计算时间与内存分配均减少逾 10 倍。
• 多尺度 TTC 算法优于静态下采样方法，在合成视频数据上显著降低了均方误差（MSE）。
• 在标准清晰度视频序列上，基础 TTC 算法实现约 30 Hz 的实时性能，多尺度变体实现约 10 Hz。
• 该实现展示了每帧处理时间低于 1 毫秒，适用于嵌入式系统与实时机器人控制。
• 将 FastConv 集成至 Julia 包管理器，使得其可在多种应用中立即复用，且设置开销极低。
• 可分离核检测将计算复杂度从 $O(n^2)$ 降低至 $O(n)$，进一步提升了常见机器视觉核的性能。