[논문 리뷰] 3D Robot Pose Estimation from 2D Images

Christoph Heindl, Sebastian Zambal외 3명|arXiv (Cornell University)|2019. 02. 13.

Human Pose and Action Recognition참고 문헌 37인용 수 4

한 줄 요약

이 논문은 단일 2D 이미지에서 3D 로봇 자세 추정을 위한 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 단계적 CNN과 순환 세그멘테이션 네트워크를 사용하여 관절 위치, 희소 깊이 맵, 인스턴스 마스크를 동시에 예측한다. 비현실적인 합성 데이터로만 훈련되었음에도 불구하고, 실제 이미지로의 일반화가 효과적으로 이루어져 깊이 추정에 대해 평균 픽셀 오차가 근거리(0–5 m)에서 5.81 cm, 원거리(5–10 m)에서 9.50 cm를 기록한다.

ABSTRACT

This paper considers the task of locating articulated poses of multiple robots in images. Our approach simultaneously infers the number of robots in a scene, identifies joint locations and estimates sparse depth maps around joint locations. The proposed method applies staged convolutional feature detectors to 2D image inputs and computes robot instance masks using a recurrent network architecture. In addition, regression maps of most likely joint locations in pixel coordinates together with depth information are computed. Compositing 3D robot joint kinematics is accomplished by applying masks to joint readout maps. Our end-to-end formulation is in contrast to previous work in which the composition of robot joints into kinematics is performed in a separate post-processing step. Despite the fact that our models are trained on artificial data, we demonstrate generalizability to real world images.

연구 동기 및 목표

• 실제 산업 현장에서의 로봇 자세 추정을 위한 대규모 및 주석이 부여된 데이터셋 부족 문제를 해결하기 위해.
• 3D 깊이 센서나 수동 주석 없이 단안 2D 이미지에서 정확한 3D 운동학적 체인 재구성 가능하게 하기 위해.
• 비용이 많이 드는 데이터 수집 및 주석 작업을 피하기 위해 합성 시뮬레이션 데이터에서 실제 이미지로의 일반화를 가능하게 하는 방법 개발하기 위해.
• 엔드 투 엔드 방식으로 로봇 인스턴스 세그멘테이션, 2D 관절 위치, 희소 깊이 맵을 동시에 추정하기 위해.
• 시뮬레이션 기반 훈련이 실제 세계의 로봇 자세 추정 작업에서 강력한 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 모델은 단일 2D RGB 이미지에서 관절 위치와 희소 깊이 맵에 대한 믿음 맵을 예측하기 위해 단계적 합성곱 신경망을 사용한다.
• 순환 인스턴스 세그멘테이션 네트워크가 믿음 맵과 깊이 맵을 처리하여 로봇 인스턴스 마스크를 생성하며, 관절의 복잡한 후처리 그룹화를 피한다.
• 관절 위치는 믿음 맵에 대한 국소 최대값 제거(Non-maximum suppression)를 통해 식별하고, 깊이 값과 함께 재투영을 통해 3D 좌표를 재구성한다.
• 모델는 도메인 랜덤라이제이션을 사용하여 유사하게 렌더링된 3D 시뮬레이션 데이터만으로 훈련된다.
• 인스턴스 마스크는 각 로봇에 대해 관절 믿음 맵과 깊이 맵를 복합화하는 데 사용되어 운동학적 체인 재구성 가능하게 한다.
• 관절 검출, 깊이 회귀, 인스턴스 세그멘테이션을 하나의 엔드 투 엔드 프레임워크로 통합하여 별도의 후처리 단계를 제거한다.

실험 결과

연구 질문

• RQ1 합성 3D 렌더링 데이터로만 훈련된 딥 러닝 모델이 실제 이미지에서 정확한 3D 로봇 자세 추정을 달성할 수 있는가?
• RQ2 2D 관절 위치, 깊이, 인스턴스 세그멘테이션의 동시 예측이 완전한 3D 운동학적 체인 재구성에 얼마나 효과적인가?
• RQ3 기존의 후처리 관절 그룹화 방식과 비교해 복합적인 순환 인스턴스 세그멘테이션 네트워크 사용이 성능 향상에 얼마나 기여하는가?
• RQ4 다양한 외관과 자세를 가진 실제 이미지에서 테스트할 경우, 시뮬레이션 훈련된 모델의 일반화 능력은 어느 정도인가?
• RQ5 장면 내 로봇 인스턴스 수가 증가함에 따라 파이프라인의 런타임은 어떻게 변화하는가?

주요 결과

• 합성 테스트 데이터에서 깊이 추정의 평균 오차는 근거리(0–5 m)에서 5.81 cm, 원거리(5–10 m)에서 9.50 cm를 기록한다.
• IoU 임계치 0.5에서의 평균 정밀도(AP)는 88.7%로, 합성 데이터에서 강력한 인스턴스 세그멘테이션 성능를 나타낸다.
• 모델는 실제 이미지로의 일반화가 가능하여 실제 훈련 데이터 없이도 관절 위치 추정에서 낮은 픽셀 오차를 기록한다.
• 런타임 분석 결과 믿음 예측은 실시간 처리가 가능하며 평균 10.95 ms, 라플라시안 오브 가우시안 기반의 관절 위치 검출은 가장 느린 성분으로 평균 310.00 ms를 기록한다.
• 마스크 처리된 관절 믿음 맵과 깊이 맵를 조합하여 복잡한 다중 로봇 장면에서도 완전한 3D 운동학적 체인 재구성에 성공한다.
• 시뮬레이션 기반 훈련과 도메인 랜덤라이제이션을 통해 실제 이미지로의 제로샷 일반화가 효과적으로 가능함을 입증하며, 실제 데이터 수집 및 주석의 필요성을 줄일 수 있음을 보여준다.