[论文解读] Coresets for Kinematic Data: From Theorems to Real-Time Systems

Soliman Nasser, Ibrahim Jubran+1 more|arXiv (Cornell University)|Nov 30, 2015

Advanced Image and Video Retrieval Techniques参考文献 28被引用 4

一句话总结

本文提出了一种用于实时运动数据处理的新型共核（coreset）框架，通过在固定大小的压缩点集上应用 Kabsch 算法，实现精确的姿态估计（与输入规模无关）。该系统基于矩阵分解与 Carathéodory 定理的理论共核构造，在低成本硬件上实现了实时性能，其应用体现于一架完全自主的低成本四旋翼飞行器‘Guardian Angel’，该飞行器每帧仅使用 5 个关键点即可实时追踪访客。

ABSTRACT

A coreset (or core-set) of a dataset is its semantic compression with respect to a set of queries, such that querying the (small) coreset provably yields an approximate answer to querying the original (full) dataset. In the last decade, coresets provided breakthroughs in theoretical computer science for approximation algorithms, and more recently, in the machine learning community for learning "Big data". However, we are not aware of real-time systems that compute coresets in a rate of dozens of frames per second. In this paper we suggest a framework to turn theorems to such systems using coresets. We begin with a proof of independent interest, that any set of $n$ matrices in $\mathbb{R}^{d imes d}$ whose sum is $S$, has a positively weighted subset whose sum has the same center of mass (mean) and orientation (left+right singular vectors) as $S$, and consists of $O(dr)$ matrices (independent of $n$), where $r\leq d$ is the rank of $S$. We provide an algorithm that computes this (core) set in one pass over possibly infinite stream of matrices in $d^{O(1)}$ time per matrix insertion. By maintaining such a coreset for kinematic (moving) set of $n$ points, we can run pose-estimation algorithms, such as Kabsch or PnP, on the small coresets, instead of the $n$ points, in real-time using weak devices, while obtaining the same results. This enabled us to implement a low-cost ($

研究动机与目标

• 将理论共核定理应用于实时嵌入式系统，尤其面向机器人与物联网应用。
• 为运动点集数据设计一种共核，保持其质心与方向，以实现高效的姿态估计。
• 设计并实现一种低成本、无线、实时的追踪系统，利用共核实现四旋翼飞行器的自主导航。
• 通过在室内环境中应用于自主访客引导，证明共核在真实机器人应用中的可行性。

提出的方法

• 证明一个新的共核定理：任意 $ n $ 个 $ \mathbb{R}^{d \times d} $ 矩阵的和 $ S $，存在一个大小为 $ O(dr) $ 的正权子集，可保持 $ S $ 的均值与奇异向量，其中 $ r \leq d $ 为 $ S $ 的秩。
• 设计一种单次遍历流式算法，实现每插入一个矩阵时在 $ d^{O(1)} $ 时间内计算该共核，适用于无限数据流。
• 通过将每一帧的点构型视为矩阵，将共核方法应用于运动点集，以保留 Kabsch 算法所需的几何特性。
• 利用共核替代完整点集在 Kabsch 算法中的输入，确保其旋转与平移估计结果与完整数据完全一致。
• 实现一个实时追踪系统（IoTracker），采用低成本微型计算机与红外/RGB 摄像头，每帧仅处理 5 个核心点。
• 将基于共核的姿态估计结果集成至 PID 控制器，实现实时稳定与自主引导四旋翼飞行器。

实验结果

研究问题

• RQ1 理论共核定理能否有效转化为机器人应用中的实时嵌入式系统？
• RQ2 为实现姿态估计，保持 3D 点集质心与方向的最小固定大小共核是什么？
• RQ3 共核能否在仅使用每帧少数关键点的前提下，实现在低功耗设备上的实时姿态估计？
• RQ4 在真实追踪噪声与特征漂移条件下，共核方法与随机采样相比，在精度与稳定性方面表现如何？
• RQ5 能否构建一个完全自主、低成本的四旋翼飞行器系统，利用共核实现实时定位与引导，且无需外部控制器？

主要发现

• 共核构造保证了在共核上应用 Kabsch 算法所获得的旋转与平移结果，与在完整点集上完全一致，即使输入发生平移与旋转亦成立。
• 当 $ d = 3 $ 且 $ r = 2 $ 时，共核大小为 $ r(d-1) + 1 = 5 $，对应于平面构型，且该大小与跟踪点数无关，保持恒定。
• 在红外追踪测试中，共核系统在所有计算周期内平均误差均低于随机采样，且在低成本硬件上实现了 30 Hz 的稳定性能。
• 在 RGB 追踪中使用 SIFT 特征时，即使存在特征匹配错误与低成本摄像头导致的噪声 3D 三角化误差，共核方法仍保持低于随机采样的平均误差。
• 该系统成功实现了仅使用每帧 5 个核心点的实时四旋翼飞行器自主引导，采用 $ <\$100 $ 的硬件配置，实现了稳定悬停与导航。
• 开源代码与视频演示证实了在真实世界物联网与机器人应用中部署共核系统的技术可行性。