[논문 리뷰] BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models

Bowen Wen, Kostas E. Bekris|arXiv (Cornell University)|2021. 08. 01.

Human Pose and Action Recognition인용 수 7

한 줄 요약

BundleTrack는 3D 모델이 없이도 새로운 물체에 대해 최신 기술 수준의 성능을 달성하는 새로운 6D 물체 자세 추적 프레임워크이다. 이는 심층 학습 기반 영상 분할과 관점 기반 매칭을 메모리 증강 자세 그래프 최적화와 융합하여, 가림, 운동 등의 조건에서도 장기적이고 낮은 드리프트 추적을 가능하게 한다. NOCS 벤치마크에서 87.4%의 정확도를 기록했으며, CAD 모델을 사용하는 방법과 유사한 성능을 내고 있다.

ABSTRACT

Tracking the 6D pose of objects in video sequences is important for robot manipulation. Most prior efforts, however, often assume that the target object's CAD model, at least at a category-level, is available for offline training or during online template matching. This work proposes BundleTrack, a general framework for 6D pose tracking of novel objects, which does not depend upon 3D models, either at the instance or category-level. It leverages the complementary attributes of recent advances in deep learning for segmentation and robust feature extraction, as well as memory-augmented pose graph optimization for spatiotemporal consistency. This enables long-term, low-drift tracking under various challenging scenarios, including significant occlusions and object motions. Comprehensive experiments given two public benchmarks demonstrate that the proposed approach significantly outperforms state-of-art, category-level 6D tracking or dynamic SLAM methods. When compared against state-of-art methods that rely on an object instance CAD model, comparable performance is achieved, despite the proposed method's reduced information requirements. An efficient implementation in CUDA provides a real-time performance of 10Hz for the entire framework. Code is available at: https://github.com/wenbowen123/BundleTrack

연구 동기 및 목표

• 기존 6D 자세 추적 방법이 훈련 또는 추론 시 개별 물체 또는 카테고리 수준의 3D 모델이 필요로 하는 한계를 해결한다.
• 가림, 운동, 무문자 표면 등의 도전적인 조건에서도 견고하고 장기적인 새로운 물체의 6D 자세 추적을 가능하게 한다.
• 다양한 물체 인스턴스 간에 재학습 또는 미세조정 없이도 추적 정확도를 유지할 수 있는 일반화 가능한 프레임워크를 개발한다.
• 스패티오토포로지적 일관성을 활용한 메모리 증강 자세 그래프 최적화 전략을 통해 추적 드리프트를 감소시킨다.

제안 방법

• RGB 영상 프레임에서 2D-3D 대응 관계를 추출하기 위해 사전 학습된 심층 학습 모델을 사용하여 개체 분할 및 관점 검출을 수행한다.
• 기억 풀에 저장된 다수의 이전 关건 프레임과 현재 프레임을 연결하기 위해 다중 쌍 특징 매칭 전략을 적용한다.
• 전역 에너지 함수를 사용하여 다수의 프레임에서 자세를 동시에 최적화하는 메모리 증강 자세 그래프 최적화를 활용한다.
• 전역 3D 모델로 융합하는 대신 기록된 원본 이력 관측치를 관건 프레임으로 유지하여 드리프트 누적을 감소시킨다.
• 전체 파이프라인(분할 및 최적화 포함)에서 실시간 성능(10Hz)을 달성하기 위해 CUDA 가속 구현을 사용한다.
• 다중 스텝 대응 연결을 가능하게 하는 견고한 데이터 연동 메커니즘을 통합하여, 연속 프레임 매칭이 모호할 경우의 신뢰도를 향상시킨다.

Figure 1: Top: NOCS Dataset [ 13 ] example: The target object exits the camera’s frustum during tracking but BundleTrack maintains its estimate without re-initialization. Bottom: YCBInEOAT Dataset [ 22 ] example: The object is successfully tracked during pick and place manipulation by a robotic arm,

실험 결과

연구 질문

• RQ1 3D 모델의 개별 또는 카테고리 수준에 대한 액세스 없이도 새로운 물체에 대해 6D 자세 추적을 달성할 수 있는가?
• RQ2 기존 SLAM 또는 템플릿 기반 방법과 비교해 볼 때, 메모리 증강 자세 그래프 최적화는 장기적 추적 드리프트 감소에 얼마나 효과적인가?
• RQ3 특히 비정상적인 형태나 낮은 무늬를 가진 물체와 같은 분포 외의 물체 인스턴스에 대해 이 프레임워크는 얼마나 일반화되는가?
• RQ4 CAD 모델이나 카테고리 수준 사전 지식에 의존하는 최신 기술 수준의 접근법과 비교해 볼 때, 제안된 방법은 정확도와 견고성 면에서 어떻게 성과를 내는가?

주요 결과

• BundleTrack는 5°5cm 평가 프로토콜 하에서 NOCS 벤치마크에서 87.4%의 정확도를 달성했으며, 이는 이전 최신 기술 수준의 33.3%에 비해 뚜렷한 향상이다.
• CAD 모델을 사용하지 않음에도 불구하고, 6-PACK과 같은 최신 기술 수준의 카테고리 수준 6D 추적 방법과 MaskFusion과 같은 동적 SLAM 방법보다 뛰어난 성능을 보였다.
• 개별 CAD 모델에 의존하는 방법들(예: RGF, $se(3)$-TrackNet)과 유사한 성능을 달성했으며, 정보 요구량이 감소했음에도 불구하고.
• 심한 자기 가림이나 물체 운동 상황에서도 재초기화 없이 안정적인 추적을 유지했다.
• 제거 분석 결과, 메모리 증강 자세 그래프 최적화 및 개별 에너지 항목이 추적 정확도와 견고성 향상에 크게 기여하는 것으로 확인되었다.
• 단일 GPU에서 10Hz로 실시간으로 작동하며, MaskFusion(17Hz) 및 6-PACK(4Hz)와 같은 유사한 방법들보다 빠른 속도를 기록했고, 더 높은 정확도를 확보했다.

Figure 2: BundleTrack framework from left to right: (1) an image segmentation network returns the object mask given the prior one; (2) a network detects keypoints and their descriptors; (3) keypoints are matched and coarse registration is performed between consecutive frames to estimate an initial r