[论文解读] A 3D Motion Vector Database for Dynamic Point Clouds

André Souto, Ricardo L. de Queiroz+1 more|arXiv (Cornell University)|Aug 19, 2020

Advanced Vision and Imaging参考文献 3被引用 6

一句话总结

本论文提出一个公开可用的3D运动矢量数据库，针对Microsoft和8i数据集中的动态点云，采用基于块的后向运动估计算法。该数据库为九个序列的所有帧提供了块大小M=8和M=16的运动矢量，支持高效压缩与运动分析，无需从头开始重新计算。

ABSTRACT

Due to the large amount of data that point clouds represent and the differences in geometry of successive frames, the generation of motion vectors for an entire point cloud dataset may require a significant amount of time and computational resources. With that in mind, we provide a 3D motion vector database for all frames of two popular dynamic point cloud datasets. The motion vectors were obtained through translational motion estimation procedure that partitions the point clouds into blocks of dimensions M x M x M , and for each block, a motion vector is estimated. Our database contains motion vectors for M = 8 and M = 16. The goal of this work is to describe this publicly available 3D motion vector database that can be used for different purposes, such as compression of dynamic point clouds.

研究动机与目标

• 解决大规模动态点云序列中运动估计算法的高计算成本问题。
• 为点云压缩与处理研究提供可重用、公开访问的3D运动矢量数据库。
• 通过预先计算标准数据集的运动矢量，减少运动估计所需的时间与资源。
• 支持动态点云运动补偿编码技术的基准测试与开发。
• 通过提供已知参数与块大小的运动矢量，实现可复现的实验。

提出的方法

• 使用基于块的后向运动估计算法在体素化点云上计算运动矢量。
• 将每一帧划分为大小为$M \times M \times M$的非重叠立方体块，其中$M = 8$或$M = 16$。
• 对于当前帧中的每个块，在以前一帧中以该块位置为中心的$S \times S \times S$搜索区域内进行搜索。
• 建立当前块中体素与前一帧候选块中最近邻体素之间的对应关系。
• 基于组合代价函数选择匹配块：$\delta = \delta_d + 0.35\delta_c$，其中$\delta_d$为平均欧氏距离，$\delta_c$为平均颜色距离。
• 最终运动矢量计算为$(M_x, M_y, M_z) = (x_{b^*} - x_b, y_{b^*} - y_b, z_{b^*} - z_b)$，表示从当前块到其在前一帧中最优匹配块的位移。

实验结果

研究问题

• RQ1 如何高效预计算动态点云中的运动估计，以降低研究人员的计算开销？
• RQ2 结合几何与颜色代价度量的基于块的运动估计算法在3D点云序列中的性能如何？
• RQ3 预计算的运动矢量在多大程度上能提升动态点云压缩流水线的效率？
• RQ4 不同块大小（8×8×8和16×16×16）对数据库中运动矢量的准确性与数据表示有何影响？
• RQ5 集中式3D运动矢量数据库在多样化动态点云应用中的可扩展性与可重用性如何？

主要发现

• 该数据库为九个动态点云序列（Andrew、David、Phil、Ricardo、Sarah、Longdress、Loot、Redandblack和Soldier）的所有帧提供了运动矢量。
• 运动矢量针对两种块大小计算：$M=8$和$M=16$，每帧的运动矢量分别存储在独立的.mat文件中。
• 数据库涵盖深度为9和10的序列，帧范围包括1–317（Andrew）、1052–1350（Longdress）和537–835（Soldier）。
• 每个.mat文件包含三个变量：`cubeDim`（块大小）、`cubeList`（块坐标）和`MVList`（按顺序对应的运动矢量）。
• 数据库托管于https://queiroz.divp.org/data/motionVectorDatabase.zip，可免费用于研究用途，并需正确引用。
• 运动矢量计算过程计算量巨大，作者强调复制该数据库将耗费大量时间和资源，因此其公开发布具有充分合理性。