[논문 리뷰] Data-driven 6D Pose Tracking by Calibrating Image Residuals in Synthetic Domains

Bowen Wen, Chaitanya Mitash외 1명|arXiv (Cornell University)|2021. 05. 29.

Robot Manipulation and Learning참고 문헌 29인용 수 4

한 줄 요약

이 논문은 $se(3)$-TrackNet를 제안하며, 분리된 특징 인코딩과 리 대수 기반 3D 자세 표현을 갖춘 새로운 신경망을 사용하여 유연한 시뮬레이션에서 실제 환경으로의 전이를 가능하게 하는 데이터 기반 6D 물체 자세 추적 방법이다. 도메인 랜덤라이제이션을 사용해 유일하게 시뮬레이션 데이터로 훈련된 $se(3)$-TrackNet는 90.9Hz에서 실시간 성능을 달성하고 YCB-Video 및 새로운 YCBInEOAT 벤치마크에서 최신 기술 수준의 정확도를 기록하며, 실제 데이터로 훈련된 방법들을 능가하며 재초기화가 필요 없음을 입증한다.

ABSTRACT

Tracking the 6D pose of objects in video sequences is important for robot manipulation. This work presents se(3)-TrackNet, a data-driven optimization approach for long term, 6D pose tracking. It aims to identify the optimal relative pose given the current RGB-D observation and a synthetic image conditioned on the previous best estimate and the object's model. The key contribution in this context is a novel neural network architecture, which appropriately disentangles the feature encoding to help reduce domain shift, and an effective 3D orientation representation via Lie Algebra. Consequently, even when the network is trained solely with synthetic data can work effectively over real images. Comprehensive experiments over multiple benchmarks show se(3)-TrackNet achieves consistently robust estimates and outperforms alternatives, even though they have been trained with real images. The approach runs in real time at 90.9Hz. Code, data and supplementary video for this project are available at https://github.com/wenbowen123/iros20-6d-pose-tracking

연구 동기 및 목표

• 비용이 많이 들는 실제 세계의 레이블이 부여된 데이터에 의존도를 최소화하는 강력하고 실시간 6D 물체 자세 추적 시스템을 개발하는 것.
• 새로운 분리된 특징 인코딩 아키텍처를 통해 시뮬레이션 훈련 데이터와 실제 세계 테스트 이미지 사이의 도메인 차이를 해결하는 것.
• 접촉, 운동, 시점 변화와 같은 도전적인 조건에서도 장기적이고 안정적인 자세 추적을 가능하게 하는 것.
• 추적 실패 후 재초기화가 필요 없이 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하는 것.
• 동적인 로봇 조작 시나리오에서 6D 자세 추적을 평가하기 위해 새로운 벤치마크 데이터셋 YCBInEOAT을 도입하는 것.

제안 방법

• 현재 RGB-D 관측값과 이전 자세 추정 기반의 물체 렌더링을 위한 별도의 특징 인코더를 갖춘 이중 브랜치 신경망을 사용한다.
• 3D 자세 변화를 효과적으로 학습하기 위해 미분 가능한 손실 함수를 사용하는 리 대수 기반의 3D 자세 표현을 사용한다.
• 도메인 차이를 줄이기 위해 물리 기반 시뮬레이션 파이프라인을 통해 생성된 시뮬레이션 데이터와 도메인 랜덤라이제이션을 사용해 유일하게 시뮬레이션 데이터로 훈련한다.
• 콘텐츠와 변환 정보를 분리하는 특징 인코딩을 통해 실제 이미지로의 일반화 능력을 향상시킨다.
• 시스템은 연속 프레임 간 상대 6D 자세 변환($\Delta T_{\tau}$)을 예측하며, 이를 반복적으로 적용하여 시간에 따라 물체의 자세를 정밀하게 개선한다.
• 대칭성과 물체 형태의 변형에 대한 저항력을 향상시키기 위해 훈련 중에 형태 일치 손실을 사용한다.

실험 결과

연구 질문

• RQ1 유일하게 시뮬레이션 데이터로 훈련된 6D 물체 자세 추적 네트워크가 실제 세계 벤치마크에서 실제 데이터로 훈련된 기준보다 비교적 또는 더 뛰어난 성능을 달성할 수 있는가?
• RQ2 리 대수 기반 3D 자세 표현은 잔여 자세 변환의 정확하고 미분 가능한 학습을 위해 얼마나 효과적인가?
• RQ3 분리된 특징 인코딩이 시뮬레이션에서 실제 환경으로의 6D 자세 추적에서 도메인 차이를 어느 정도 줄이는가?
• RQ4 접촉 및 큰 운동과 같은 도전적인 조건에서도 재초기화 없이 장기적인 추적 정확도를 유지할 수 있는가?
• RQ5 동적인 물체 상호작용을 포함한 로봇 조작 작업을 위한 새로운 벤치마크 데이터셋에서의 성능은 어떠한가?

주요 결과

• YCB-Video 벤치마크에서 $se(3)$-TrackNet는 ADD에 대해 94.71% AUC, ADD-S에 대해 96.93% AUC를 기록하며 최신 기술 수준의 성능을 달성했으며, 재초기화 없이도 실제 데이터로 훈련된 기준보다 뛰어나다.
• 이 방법은 90.9Hz로 작동하여 이전 최신 기술 수준의 접근보다 훨씬 빠르며, 로봇 조작 응용 분야에서 실시간 적용이 가능하다.
• YCBInEOAT 데이터셋에서 $se(3)$-TrackNet는 5개의 YCB 물체 전반에 걸쳐 ADD에 대해 92.66% AUC, ADD-S에 대해 95.53% AUC를 기록하여 동적 조작과 물체 이격에 대한 강건성을 입증했다.
• 절단 실험 결과, 시뮬레이션 데이터 생성 중 물리 기반 시뮬레이션을 제거하면 성능이 91.88% AUC (ADD)로 떨어지며, 이는 시뮬레이션 데이터의 현실적인 동역학의 중요성을 시사한다.
• 훈련 및 추론 중 깊이 모달리티를 제거하면 성능이 75.65% AUC (ADD)로 저하되며, 깊이 정보의 가치가 높음을 입증한다.
• 현재 이미지와 렌더링된 이미지에 대해 공통의 인코더를 사용할 경우 성능이 거의 0% (0.28% AUC)에 머물며, 이는 추적을 위해 별도의 특징 학습이 필수적임을 입증한다.