[논문 리뷰] I Like to Move It: 6D Pose Estimation as an Action Decision Process

Benjamin Busam, Hyun Jun Jung외 1명|arXiv (Cornell University)|2020. 09. 26.

Robot Manipulation and Learning참고 문헌 76인용 수 18

한 줄 요약

이 논문은 단일 RGB 이미지에서부터 반복적인 행동 결정 과정을 통해 6차원 물체 자세 추정을 프레임워크화하는 새로운 방법을 제안한다. 경량화된 CNN을 사용해 점진적인 자세 보정을 예측하며, 운동에 따라 추론 비용을 동적으로 조정함으로써 YCB 및 Laval 데이터셋에서 최신 기술 수준의 정확도를 달성한다. 또한 미세조정 없이도 알려지지 않은 물체로의 일반화 성능을 보여준다.

ABSTRACT

Object pose estimation is an integral part of robot vision and AR. Previous 6D pose retrieval pipelines treat the problem either as a regression task or discretize the pose space to classify. We change this paradigm and reformulate the problem as an action decision process where an initial pose is updated in incremental discrete steps that sequentially move a virtual 3D rendering towards the correct solution. A neural network estimates likely moves from a single RGB image iteratively and determines so an acceptable final pose. In comparison to other approaches that train object-specific pose models, we learn a decision process. This allows for a lightweight architecture while it naturally generalizes to unseen objects. A coherent stop action for process termination enables dynamic reduction of the computation cost if there are insignificant changes in a video sequence. Instead of a static inference time, we thereby automatically increase the runtime depending on the object motion. Robustness and accuracy of our action decision network are evaluated on Laval and YCB video scenes where we significantly improve the state-of-the-art.

연구 동기 및 목표

• 기존의 6D 자세 추정 방법이 물체별로 특화된 학습이 필요하고 일반화 성능이 열 劣하다는 한계를 해결하기 위해.
• 노이즈, 부분적 가림, 혼잡한 환경 조건에서도 단일 RGB 이미지 입력을 통해 정확성과 강인성을 향상시키기 위해.
• 물체의 운동과 자세 변화에 따라 추론 복잡도를 동적으로 조정하여 계산 비용을 줄이기 위해.
• 각 물체별 모델이 아닌 결정 정책을 학습함으로써, 알려지지 않은 물체로의 제로샷 일반화를 가능하게 하기 위해.
• 영상 시퀀스를 활용해 반복적인 정밀 조정을 통해 추적 성능를 향상시키고, 이전 프레임의 자세를 초기 자세로 활용해 런타임을 감소시키기 위해.

제안 방법

• 6D 자세 추정을 순차적 결정 과정으로 재구성하여, 신경망이 이산적인 자세 행동을 예측함으로써 3D 물체 렌더링을 반복적으로 정밀 조정한다.
• 경량화된 CNN이 잘린 이미지와 렌더링 쌍을 처리하여 각 단계에서 6D 자세 업데이트(이동 및 회전)를 예측한다.
• 예측된 행동이 현재 자세에 적용되고, 새로운 렌더링을 생성하고 다음 반복을 위해 재자르기 한다.
• 자세 변화가 미미해질 때 정지 행동을 예측함으로써, 영상 시퀀스에서 추론 비용을 동적으로 감소시킨다.
• 고품질의 렌더링을 실제 배경에 적용한 합성 데이터로 학습하며, 혼잡함과 가림을 시뮬레이션하기 위한 데이터 증강 기법을 사용한다.
• 영상 추론에서는 프레임 t의 자세를 프레임 t+1의 초기 자세로 사용함으로써 필요한 반복 수를 줄인다.

실험 결과

연구 질문

• RQ1 6D 자세 추정을 회귀나 분류가 아닌 순차적 행동 결정 과정으로 효과적으로 재정의할 수 있는가?
• RQ2 경량화된 공유 정책 네트워크가 물체별 모델보다 더 나은 일반화 성능을 보일 수 있는가?
• RQ3 자세 변화에 기반한 동적 복잡도 감소가 영상 시퀀스에서 추론 효율성을 향상시킬 수 있는가?
• RQ4 기존 최신 기술 수준의 방법들과 비교해가며, 다양한 수준의 가림, 혼잡함, 노이즈 조건에서의 성능은 어떠한가?
• RQ5 반복적인 정밀 조정을 통해 단일 RGB 이미지 입력으로 기존 방법들을 초월할 수 있는가? YCB 및 Laval과 같은 벤치마크 데이터셋에서의 성능을 평가한다.

주요 결과

• 제안된 방법은 YCB 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 0.1m 임계값 기준 ADD 곡선에서 모든 물체 평균 AUC가 83.47%를 기록하였다.
• Laval 데이터셋에서 쿠키저 머그의 경우 0% 가림 조건에서 평균 이동 오차 3.82mm, 평균 회전 오차 6.48°를 기록하였으며, 이는 이전 작업에 비해 유의미하게 향상된 성능이다.
• 렌더링된 깊이 입력이 없는 모델(Ours w/o D)은 더 높은 오차를 보이며, 깊이 감독이 특히 가림 조건에서 강인성을 향상시킨다는 것을 시사한다.
• 모델은 미세조정 없이도 알려지지 않은 물체로의 일반화 성능을 보이며, 학습된 결정 정책 덕분에 제로샷 능력을 입증하였다.
• 영상 시퀀스에서는 이전 프레임의 초기 자세를 활용함으로써 동적 복잡도 감소 기법이 추론 비용을 감소시켰으며, 운동이 적을 경우 반복 수가 줄어들었다.
• 특히 높은 가림과 혼잡함 조건에서 강력한 베이스라인인 D-IM, PV-N, R&C보다도 뛰어난 성능을 보였다.