[논문 리뷰] 6-DoF Object Pose from Semantic Keypoints

Georgios Pavlakos, Xiaowei Zhou외 3명|arXiv (Cornell University)|2017. 03. 14.

Human Pose and Action Recognition참고 문헌 36인용 수 33

한 줄 요약

이 논문은 싱글 RGB 이미지에서 심층 컨volution 네트워크로부터의 의미 키포인트 예측과 탄성형 형태 모델을 조합하여 6-자유도 물체 자세 추정 방법을 제안한다. 이 방법은 자세 최적화 과정에서 히트맵 반응을 통해 키포인트 신뢰도를 가중치로 활용하며, PASCAL3D+ 데이터셋에서 최신 기술 수준의 시점 추정 정확도를 달성하면서도 0.3초 미만의 추론 시간을 확보한다.

ABSTRACT

This paper presents a novel approach to estimating the continuous six degree of freedom (6-DoF) pose (3D translation and rotation) of an object from a single RGB image. The approach combines semantic keypoints predicted by a convolutional network (convnet) with a deformable shape model. Unlike prior work, we are agnostic to whether the object is textured or textureless, as the convnet learns the optimal representation from the available training image data. Furthermore, the approach can be applied to instance- and class-based pose recovery. Empirically, we show that the proposed approach can accurately recover the 6-DoF object pose for both instance- and class-based scenarios with a cluttered background. For class-based object pose estimation, state-of-the-art accuracy is shown on the large-scale PASCAL3D+ dataset.

연구 동기 및 목표

• 혼잡한 환경에서 무늬가 있는 물체와 무늬가 없는 물체에 대해 6-자유도 물체 자세 추정의 과제를 해결한다.
• 무늬나 특정 물체 인스턴스에 의존하지 않고 다양한 물체 종류에 걸쳐 견고한 자세 추정을 가능하게 한다.
• 인스턴스 기반 및 클래스 기반 자세 복원 시나리오에 모두 적용 가능한 통합 프레임워크를 개발한다.
• 히트맵 신뢰도를 자세 최적화에 통합하여 키포인트 위치 오차에 대한 내성을 향상시킨다.
• 로봇 공학 및 상호작용 응용 프로그램에 적합한 실시간 성능을 달성한다.

제안 방법

• 싱글 RGB 이미지에서 클래스별 의미 키포인트를 히트맵으로 예측하기 위해 스택드 아워거글라스 컨volution 네트워크를 사용한다.
• PCA 기반 기저 또는 CAD 모델로 매개변수화된 탄성형 3D 형태 모델을 사용하여 물체 형태의 변동성을 모델링한다.
• 2D로 검출된 키포인트와 3D 형태 모델 간의 기하학적 일致성 최적화 문제로 자세 추정을 공식화한다.
• 가짜 키포인트 검출에 대한 민감도를 줄이기 위해 최적화 과정에 히트맵 반응 값으로 신뢰도 가중치를 통합한다.
• 자세 피팅에 대해 약한 투영 및 완전한 투영 카메라 모델을 모두 지원한다.
• 해당하는 포인트 클라우드가 존재할 경우 예측된 자세를 초기값으로 사용해 ICP를 통해 정밀화한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반의 키포인트 검출기와 탄성형 형태 모델을 조합하면, 무늬가 있는 물체와 무늬가 없는 물체 모두에 대해 정확한 6-자유도 자세 추정을 달성할 수 있는가?
• RQ2 히트맵 신뢰도를 통합함으로써 6-자유도 자세 추정에서 키포인트 위치 오차에 대한 내성은 어떻게 향상되는가?
• RQ3 특정 인스턴스 모델이 필요 없이도 제안된 방법이 다양한 물체 종류 간에 일반화 가능한가?
• RQ4 PASCAL3D+와 같은 대규모 벤치마크에서 최신 기술 수준의 접근 방식과 비교해 성능은 어떠한가?
• RQ5 로봇 공학 및 비전 시스템에서 실시간 응용에 얼마나 잘 스케일링되는가?

주요 결과

• 제안된 방법은 CAD 기반 형태 모델링을 사용하여 10개의 물체 종류에 대해 PASCAL3D+에서 최신 기술 수준의 중앙값 회전 오차를 달성하였으며, 항공기(aero)는 8.0°, 자전거(bike)는 13.4°, 버스(bus)는 2.0°를 기록하였다.
• 균일 가중치 기반 베이스라인(항공기 16.3°, 자동차(car) 30.7°)에 비해 상당히 뛰어난 성능을 보이며, 신뢰도 가중치의 중요성을 입증한다.
• TV 모니터 및 보트의 실패 사례는 각각 공면상 키포인트(불안정 문제)와 작은 물체 크기로 인한 앞뒤 방향의 모호성 때문이었다.
• 표준 데스크톱(i7 CPU, GTX Titan X GPU)에서 0.3초 미만으로 실행되며, 키포인트 예측에 0.2초, 자세 피팅에선 <0.1초가 소요된다.
• 클래스 기반 자세 복원에 대해 잘 일반화되며, 내부 클래스 변동성과 시점 다양성이 심한 상황에서도 높은 정확도를 달성한다.
• 히트맵 반응을 신뢰도 측정치로 사용함으로써, 특히 가짜 키포인트 검출이 많은 혼잡한 환경에서의 내성이 향상된다.