[논문 리뷰] Nothing But Geometric Constraints: A Model-Free Method for Articulated Object Pose Estimation

Qihao Liu, Weichao Qiu외 3명|arXiv (Cornell University)|2020. 11. 30.

Robot Manipulation and Learning참고 문헌 40인용 수 15

한 줄 요약

이 논문은 CAD 모델이나 애너테이션된 학습 데이터가 필요 없이 RGB 또는 RGB-D 영상 시퀀스에서 관절 구조를 가진 물체와 로봇 암의 관절 구성을 모델-기반, 비지도 학습 방식으로 추정하는 GC-Pose를 제안한다. 기하적 제약 조건—특히 다중 프레임에 걸쳐 EM 최적화 및 번들 조정을 적용한 확장된 에피포라 제약 조건—을 활용하여 관절 각도 추정에서 최신 기술 수준의 정확도를 달성하며, 벤치마크 데이터셋에서 지도 학습 방법을 능가하고 새로운 물체로의 일반화 성능을 확보한다.

ABSTRACT

We propose an unsupervised vision-based system to estimate the joint configurations of the robot arm from a sequence of RGB or RGB-D images without knowing the model a priori, and then adapt it to the task of category-independent articulated object pose estimation. We combine a classical geometric formulation with deep learning and extend the use of epipolar constraint to multi-rigid-body systems to solve this task. Given a video sequence, the optical flow is estimated to get the pixel-wise dense correspondences. After that, the 6D pose is computed by a modified PnP algorithm. The key idea is to leverage the geometric constraints and the constraint between multiple frames. Furthermore, we build a synthetic dataset with different kinds of robots and multi-joint articulated objects for the research of vision-based robot control and robotic vision. We demonstrate the effectiveness of our method on three benchmark datasets and show that our method achieves higher accuracy than the state-of-the-art supervised methods in estimating joint angles of robot arms and articulated objects.

연구 동기 및 목표

• 영상 시퀀스에서 관절 구조를 가진 물체와 로봇 암의 관절 구성을 모델-기반, 비지도 학습 방식으로 추정하는 방법을 개발한다.
• 표면 무늬가 낮은 경우, 자기 음영, 반사성 재료 등의 과제를 애너테이션된 데이터나 3D CAD 모델에 의존하지 않고 해결한다.
• 특정 인스턴스에 대한 피팅 없이 원시 영상에서 학습함으로써 새로운 관절 구조를 가진 물체나 로봇 암으로 일반화할 수 있도록 한다.
• 로봇 시각 분석 및 진단을 위한 포지션 추정 방법을 분석하기 위해 제어 가능한 합성 데이터셋을 구축한다.

제안 방법

• 예측된 모델(예: FlowNet2)을 사용하여 영상 프레임 간의 밀도 높은 옵티컬 플로우를 추정하여 픽셀 단위의 대응 관계를 설정한다.
• 이동 부위마다 6차원 강체 변환으로 표현된 확장된 에피포라 제약 조건을 적용하여, 특히 무늬가 낮거나 반사성이 높은 영역에서 옵티컬 플로우를 정밀하게 보정한다.
• 에피포라 제약 조건 하에서 옵티컬 플로우와 강체 변환을 동시에 최적화하기 위해 EM 알고리즘을 적용하여 노이즈가 많은 플로우에 대한 강건성을 향상시킨다.
• 2차원 대응 관계에서 수정된 PnP 알고리즘을 사용하여 프레임 간 상대 운동을 추정함으로써 6차원 자세를 계산한다.
• 시간에 따라 상대 변환을 누적하여 절대 관절 구성 상태를 복원한다.
• 추정된 또는 참값의 깊이를 사용하여 다중 프레임에 걸쳐 번들 조정을 적용하여 관절 각도 추정을 정밀화하고 누적 오차를 감소시킨다.

실험 결과

연구 질문

• RQ1 CAD 모델이나 애너테이션된 학습 데이터 없이도 모델-기반 방법이 고정밀도의 관절 구조 물체 자세 추정을 달성할 수 있는가?
• RQ2 확장된 에피포라 제약 조건이 무늬가 낮거나 반사성이 높은 강체에 대해 옵티컬 플로우 정확도를 얼마나 향상시키는가?
• RQ3 자기 음영과 복잡한 운동 조건 하에서 다중 프레임 번들 조정이 자세 추정 정확도에 얼마나 기여하는가?
• RQ4 노이즈가 많은 깊이 추정에 대해 이 방법은 얼마나 강건한가? 단일 영상 기반 네트워크로 추정한 깊이를 사용해도 효과적으로 기능하는가?

주요 결과

• GC-Pose는 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 지도 학습 방법보다 높은 관절 각도 추정 정확도를 확보하였으며, 재학습 없이도 새로운 물체에 대해서도 성능을 유지를 하였다.
• 확장된 에피포라 제약 조건은 무늬가 없는 표면에서 옵티컬 플로우 정확도를 크게 향상시켜, 무늬가 있는 물체와 없는 물체 간의 성능 격차를 줄였다.
• 번들 조정을 통해 누적 오차가 감소하여 최상의 경우 평균 오차가 8.7170°에서 5° 이하로 향상되었다.
• Monodepth2로부터 추정한 깊이를 사용해도 GC-Pose는 강력한 성능 유지를 보였으며, 참값 깊이를 사용할 경우 성능이 더욱 향상되어 깊이 노이즈에 대한 강건성을 입증하였다.
• 합성 데이터셋을 통해 제어 가능한 아블레이션 연구를 수행할 수 있었으며, 기하적 제약 조건과 다중 프레임 최적화가 성능 향상의 핵심 요소임을 확인하였다.