[논문 리뷰] 6D Object Pose Regression via Supervised Learning on Point Clouds

Ge Gao, Mikko Lauri외 4명|arXiv (Cornell University)|2020. 01. 24.

Robot Manipulation and Learning참고 문헌 32인용 수 10

한 줄 요약

이 논문은 깊이 유도 점군만을 사용하여 6차원 물체 자세 추정을 위한 지도 학습 접근법을 제안한다. 각기 다른 네트워크를 활용해 자세의 회전(축-각도 표현 및 지오데식 손실 사용)과 평행 이동을 추정한다. 제안된 방법은 YCB-Video 데이터셋에서 최신 기술을 초월하며, RGB-D 데이터를 사용하는 방법보다도 기하학적 특징만을 활용한 설계 선택이 뛰어난 성능을 낼 수 있음을 보여준다.

ABSTRACT

This paper addresses the task of estimating the 6 degrees of freedom pose of a known 3D object from depth information represented by a point cloud. Deep features learned by convolutional neural networks from color information have been the dominant features to be used for inferring object poses, while depth information receives much less attention. However, depth information contains rich geometric information of the object shape, which is important for inferring the object pose. We use depth information represented by point clouds as the input to both deep networks and geometry-based pose refinement and use separate networks for rotation and translation regression. We argue that the axis-angle representation is a suitable rotation representation for deep learning, and use a geodesic loss function for rotation regression. Ablation studies show that these design choices outperform alternatives such as the quaternion representation and L2 loss, or regressing translation and rotation with the same network. Our simple yet effective approach clearly outperforms state-of-the-art methods on the YCB-video dataset. The implementation and trained model are avaliable at: https://github.com/GeeeG/CloudPose.

연구 동기 및 목표

• 점군으로 표현된 기하학적 깊이 정보만을 사용하여 6차원 물체 자세 추정 문제를 해결하고, 색상 데이터 의존도를 최소화한다.
• 공유 아키텍처보다 별도의 네트워크를 사용해 자세의 이동과 회전을 별도로 추정하는 것이 성능 향상에 기여하는지 조사한다.
• 딥 러닝 프레임워크에서 자세의 회전을 표현하는 데 있어 축-각도 표현 방식이 쿼aternion 표현 방식보다 우수한가를 평가한다.
• 학습 프레임워크에서 회전 오차를 측정하는 데 있어 지오데식 거리와 L2 손실 중 어느 것이 더 효과적인가를 비교한다.
• 점군 기반 딥 러닝 시스템이 RGB-D 데이터를 사용하는 최신 기술보다 6D 자세 추정에서 뛰어난 성능을 낼 수 있는가를 입증한다.

제안 방법

• 3D 물체 기하학을 표현하는 무작위 순서의 점군 입력을 처리하기 위해 PointNet 기반 아키텍처를 사용한다.
• 3D 회전을 축-각도 형식으로 예측하는 네트워크와 3D 이동을 예측하는 네트워크를 별도로 구현한다.
• 자세의 회전 추정을 위해 기하학적으로 타당한 최적화를 보장하기 위해 지오데식 거리를 손실 함수로 적용한다.
• 일관된 입력을 확보하기 위해 표면 구조를 유지하면서도 점군을 다운샘플링하기 위해 가장 먼 점 샘플링 기법을 사용한다.
• 예측된 初기 자세를 기반으로 반복 최소 제곱법(ICP)을 적용해 정밀도를 향상시킨다.
• 쿼터니언 출력을 정규화하고 이를 축-각도로 변환하여, 자세 표현 방식 간 공정한 평가를 확보한다.

Figure 1: System overview. A point cloud is created using the depth data and the output from a semantic segmentation method. This segment is processed with farthest point sampling to obtain a down-sampled segment with consistent surface structure. The segment with object class information is fed int

실험 결과

연구 질문

• RQ1 무작위 순서의 점군으로 표현된 깊이 정보만을 사용하여 6차원 물체 자세를 정확하게 추정할 수 있는가?
• RQ2 공유 아키텍처보다 별도의 딥 네트워크를 사용해 이동과 회전을 별도로 추정하는 것이 성능 향상에 유리한가?
• RQ3 딥 러닝 프레임워크에서 자세의 회전을 표현할 때 축-각도 표현 방식이 쿼터니언 표현 방식보다 우수한가?
• RQ4 학습 프레임워크에서 회전 오차를 측정하는 데 있어 지오데식 거리 손실이 L2 손실보다 더 효과적인가?
• RQ5 순수하게 기하학적 특징에 기반한 점군 기반 딥 러닝 시스템이 RGB-D 데이터를 사용하는 최신 기술을 초월할 수 있는가?

주요 결과

• 자세의 회전과 이동을 별도의 네트워크로 처리한 제안된 방법은 YCB-Video 데이터셋에서 AD 76.0과 ADS 91.3을 기록하며, 공유 아키텍처 버전을 능가한다.
• 축-각도 표현 방식을 사용할 경우 10° 이내의 오차를 가진 정확도가 41.3%에 달하는 반면, 쿼터니언을 사용할 경우 동일 조건에서 37.1%에 그친다.
• 지오데식 손실을 사용할 경우 10° 이내 오차 정확도가 41.3%로 기록되며, L2 손실(40.8%)보다 略적으로 우수하고 수학적 근거도 더 탄탄하다.
• RGB-D 데이터를 사용하는 두 가지 최신 기술보다도 YCB-Video 벤치마크에서 성능이 뛰어나다.
• 1회 순전파를 통한 자세 추정 소요 시간은 0.11초이며, Titan X GPU에서 10회 ICP 정밀화 반복에 0.3초가 소요된다.
• 제거 실험 결과, 회전과 이동 네트워크 간 레이어를 공유할 경우 성능이 저하됨을 확인하였으며, 이는 네트워크 용량을 두 배로 늘여도 마찬가지였다.

(a)