[논문 리뷰] Coresets for Kinematic Data: From Theorems to Real-Time Systems

Soliman Nasser, Ibrahim Jubran외 1명|arXiv (Cornell University)|2015. 11. 30.

Advanced Image and Video Retrieval Techniques참고 문헌 28인용 수 4

한 줄 요약

이 논문은 실시간 운동 데이터 처리를 위한 새로운 코어셋 프레임워크를 소개한다. 이 프레임워크는 크기가 일정한 압축된 점 집합에서 Kabsch 알고리즘을 사용해 정확한 자세 추정을 가능하게 하며, 입력 크기와 무관하게 일정한 크기의 코어셋을 유지한다. 행렬 분해와 Carathéodory의 정리를 기반으로 한 이론적 코어셋 구성 기법을 활용하여, 저비용 하드웨어에서도 실시간 성능을 달성한다. 이를 통해 1프레임당 5개의 핵심 점만을 사용하여 실시간으로 손님을 추적하는 완전 자율적인 저비용 드론이 성공적으로 작동함을 입증하였다.

ABSTRACT

A coreset (or core-set) of a dataset is its semantic compression with respect to a set of queries, such that querying the (small) coreset provably yields an approximate answer to querying the original (full) dataset. In the last decade, coresets provided breakthroughs in theoretical computer science for approximation algorithms, and more recently, in the machine learning community for learning "Big data". However, we are not aware of real-time systems that compute coresets in a rate of dozens of frames per second. In this paper we suggest a framework to turn theorems to such systems using coresets. We begin with a proof of independent interest, that any set of $n$ matrices in $\mathbb{R}^{d imes d}$ whose sum is $S$, has a positively weighted subset whose sum has the same center of mass (mean) and orientation (left+right singular vectors) as $S$, and consists of $O(dr)$ matrices (independent of $n$), where $r\leq d$ is the rank of $S$. We provide an algorithm that computes this (core) set in one pass over possibly infinite stream of matrices in $d^{O(1)}$ time per matrix insertion. By maintaining such a coreset for kinematic (moving) set of $n$ points, we can run pose-estimation algorithms, such as Kabsch or PnP, on the small coresets, instead of the $n$ points, in real-time using weak devices, while obtaining the same results. This enabled us to implement a low-cost ($

연구 동기 및 목표

• 이론적 코어셋 정리들을 실시간 임베디드 시스템, 특히 로봇공학 및 IoT 애플리케이션에 적용한다.
• 운동하는 점 집합의 질량중심과 자세를 유지하는 운동 데이터용 코어셋을 개발하여 효율적인 자세 추정을 가능하게 한다.
• 코어셋을 활용한 저비용, 무선, 실시간 추적 시스템을 설계하고 구현하여 드론의 자율 비행을 실현한다.
• 실세계 로봇 애플리케이션에 코어셋을 적용하여 실용성을 입증하고, 실내 환경에서의 자율적 손님 안내에 적용한다.

제안 방법

• 새로운 코어셋 정리를 증명한다: $ \mathbb{R}^{d \times d} $ 에서의 $ n $개 행렬 집합은 합이 $ S $일 때, $ S $의 평균과 특이벡터를 유지하는 $ O(dr) $ 크기의 양수 가중 부분집합을 가진다. 여기서 $ r \leq d $ 는 $ S $ 의 질량이다.
• 무한한 데이터 스트림에 적합한 일회성 스트리밍 알고리즘을 설계하여, 각 행렬 삽입 시 $ d^{O(1)} $ 시간 내에 코어셋을 계산한다.
• 각 프레임의 점 구성 방식을 행렬로 간주하여 코어셋을 운동점 집합에 적용하고, Kabsch 알고리즘에 필요한 기하적 성질을 유지한다.
• 코어셋을 Kabsch 알고리즘에 전체 점 집합 대신 사용하여, 전체 데이터에서와 동일한 회전 및 이동 추정치를 보장한다.
• 저비용 마이크로컴퓨터와 적외선/RGB 카메라를 사용하여 실시간 추적 시스템(IoTracker)을 구현하고, 프레임당 5개의 코어 포인트만 처리한다.
• 코어셋 기반 자세 추정치를 활용해 PID 제어기를 통합하여 드론의 자율적 실시간 안정화 및 이동을 구현한다.

실험 결과

연구 질문

• RQ1 이론적 코어셋 정리들이 로봇 애플리케이션을 위한 실시간 임베디드 시스템으로 효과적으로 번역될 수 있는가?
• RQ2 3차원 점 집합의 자세와 질량중심을 유지하는 최소 크기의 일정한 크기의 코어셋은 무엇인가?
• RQ3 코어셋을 사용하여 저전력 장치에서 프레임당 몇 개의 핵심 점만으로도 실시간 자세 추정이 가능한가?
• RQ4 실세계 추적 노이즈와 기능 이동에 대한 안정성과 정확도 측면에서, 코어셋 기반 자세 추정은 무작위 샘플링과 비교해 어떻게 성능을 내는가?
• RQ5 외부 제어기가 없이도 코어셋을 활용해 실시간 위치 추정 및 안내 기능을 갖춘 완전 자율적 저비용 드론 시스템을 구축할 수 있는가?

주요 결과

• 코어셋에 Kabsch 알고리즘을 적용할 경우, 입력 데이터가 이동이나 회전을 겪더라도 전체 점 집합에 적용했을 때와 동일한 회전 및 이동 추정치를 보장한다.
• 코어셋 크기는 $ d = 3 $ 이고 $ r = 2 $ 인 경우 $ r(d-1) + 1 = 5 $ 로, 평면 구성에 해당하며, 추적하는 점의 수에 관계없이 일정하게 유지된다.
• 적외선 추적 테스트에서, 모든 계산 주기 동안 코어셋 기반 시스템은 무작위 샘플링보다 평균 오차가 낮았고, 저비용 하드웨어에서 30Hz에서 안정적인 성능을 보였다.
• SIFT 기능을 사용한 RGB 추적 테스트에서도, 저가 카메라로 인한 노이즈가 많은 3차원 삼각측량과 기능 불일치 상황에서도 코어셋 기반 방법이 무작위 샘플링보다 평균 오차가 낮게 유지되었다.
• 프레임당 5개의 코어 포인트만을 사용하여도 실시간으로 자율적인 드론 안내를 성공적으로 구현하였으며, $ <\$100 $ 하드웨어 조합으로 안정적인 비행과 이동이 가능했다.
• 오픈소스 코드와 영상 시연 자료를 통해 코어셋 기반 시스템이 실세계 IoT 및 로봇 애플리케이션에 구현 가능한 것을 확인하였다.