[論文レビュー] Coresets for Kinematic Data: From Theorems to Real-Time Systems

Soliman Nasser, Ibrahim Jubran+1 more|arXiv (Cornell University)|Nov 30, 2015

Advanced Image and Video Retrieval Techniques参考文献 28被引用数 4

ひとこと要約

本稿は、入力サイズに依存しない定数サイズの圧縮点集合上でKabsch法による正確なポーズ推定を可能にする、リアルタイムキネマティックデータ処理のための新規コアセットフレームワークを提案する。行列分解とCarathéodoryの定理に基づく理論的コアセット構築を活用することで、低コストハードウェアでもリアルタイム性能を達成し、1フレームあたり5つのキーポイントのみを用いて、完全に自律的で低コストなマルチコプター「Guardian Angel」がリアルタイムで来場者を追跡することを実証した。

ABSTRACT

A coreset (or core-set) of a dataset is its semantic compression with respect to a set of queries, such that querying the (small) coreset provably yields an approximate answer to querying the original (full) dataset. In the last decade, coresets provided breakthroughs in theoretical computer science for approximation algorithms, and more recently, in the machine learning community for learning "Big data". However, we are not aware of real-time systems that compute coresets in a rate of dozens of frames per second. In this paper we suggest a framework to turn theorems to such systems using coresets. We begin with a proof of independent interest, that any set of $n$ matrices in $\mathbb{R}^{d imes d}$ whose sum is $S$, has a positively weighted subset whose sum has the same center of mass (mean) and orientation (left+right singular vectors) as $S$, and consists of $O(dr)$ matrices (independent of $n$), where $r\leq d$ is the rank of $S$. We provide an algorithm that computes this (core) set in one pass over possibly infinite stream of matrices in $d^{O(1)}$ time per matrix insertion. By maintaining such a coreset for kinematic (moving) set of $n$ points, we can run pose-estimation algorithms, such as Kabsch or PnP, on the small coresets, instead of the $n$ points, in real-time using weak devices, while obtaining the same results. This enabled us to implement a low-cost ($

研究の動機と目的

• 理論的コアセット定理をリアルタイム埋め込みシステム、特にロボット工学およびIoTアプリケーションに橋渡しすること。
• 移動する点集合の重心と姿勢を維持するキネマティックデータ用コアセットを開発し、効率的なポーズ推定を可能とすること。
• コアセットを用いた低コストで無線接続のリアルタイム追跡システムを設計・実装し、マルチコプターの自律航行を実現すること。
• 実世界のロボット工学へのコアセットの実用的妥当性を実証するため、屋内環境における自律的来場者案内に応用すること。

提案手法

• 新しいコアセット定理の証明：任意の $ n $ 個の $ \mathbb{R}^{d \times d} $ 行列からなる集合で合計が $ S $ である場合、$ S $ の平均および特異ベクトルを保持する正の重み付き部分集合が存在し、そのサイズは $ O(dr) $ である。ここで $ r \leq d $ は $ S $ のランクである。
• 無限のデータストリームに適した、1パスのストリーミングアルゴリズムを設計し、各行列の挿入に対して $ d^{O(1)} $ 時間でコアセットを計算可能とする。
• 各フレームの点配置を行列として扱い、Kabsch法に必要な幾何的性質を保持するように、キネマティック点集合にコアセットを適用する。
• コアセットを用いて完全な点集合の代わりにKabsch法を実行し、完全データ上で得られる回転および平行移動推定と同一の結果が得られることを保証する。
• 低コストのミニコンピュータとIR/RGBカメラを用いて、1フレームあたり5つのコアポイントのみを処理するリアルタイム追跡システム（IoTracker）を実装する。
• コアセットに基づくポーズ推定とPID制御器を統合し、リアルタイムでマルチコプターの安定化と自律的誘導を実現する。

実験結果

リサーチクエスチョン

• RQ1 理論的コアセット定理は、ロボット工学用途のリアルタイム埋め込みシステムに効果的に適用可能か？
• RQ2 3次元点の移動集合の姿勢と重心を保持する最小の定数サイズコアセットは何か？
• RQ3 コアセットを用いることで、1フレームあたり数個のキーポイントのみを用いて、低消費電力デバイスでもリアルタイムポーズ推定が可能か？
• RQ4 実世界の追跡ノイズや特徴のずれを伴う状況下で、コアセットベースのポーズ推定はランダムサンプリングと比較して精度と安定性に優れているか？
• RQ5 外部コントローラーを一切使用せず、コアセットを用いてリアルタイムの局所化と案内が可能な完全に自律的で低コストなマルチコプター・システムを構築可能か？

主な発見

• コアセットにKabsch法を適用した場合、入力が平行移動や回転を経験しても、完全な点集合上で得られる回転および平行移動推定と同一の結果が保証される。
• $ d = 3 $ および $ r = 2 $ の場合、コアセットサイズは $ r(d-1) + 1 = 5 $ となり、点の数に関係なく一定である。これは平面的配置に対応する。
• IR追跡テストでは、すべての計算サイクルにおいてランダムサンプリングより平均誤差が低く、低コストハードウェア上でも30 Hzで安定した性能を示した。
• SIFT特徴点を用いたRGB追跡では、低価格カメラによるノイズの多い3次元トリアングレーションや特徴の不一致があっても、コアセットベースの手法がランダムサンプリングより低い平均誤差を維持した。
• 1フレームあたり5つのコアポイントのみを用いて、$ <\$100 $ のハードウェア構成で、リアルタイムで安定したホバリングとナビゲーションを実現した自律マルチコプターの案内を成功裏に実証した。
• オープンソースコードおよび動画デモにより、コアセットベースのシステムが実世界のIoTおよびロボット工学アプリケーションに実装可能であることが確認された。