[논문 리뷰] 6D Object Pose Estimation Based on 2D Bounding Box

Jin Liu, Sheng He|arXiv (Cornell University)|2019. 01. 27.

Image and Object Detection Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 깊이 데이터나 3D 포인트 클라우드 없이 2D 객체 검출 박스를 활용하여 3D 회전을 유닛 쿼aternion 회귀 네트워크(Q-Net)로 예측하고, 새로운 경계상자 방정식을 사용해 3D 변위를 추정하는 새로운 6D 객체 자세 추정 방법을 제안한다. 이 방법은 깊이 데이터 없이도 LineMod 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 자세 정확도 및 회전 정확도 지표에서 이전 방법들을 능가한다.

ABSTRACT

In this paper, we present a simple but powerful method to tackle the problem of estimating the 6D pose of objects from a single RGB image. Our system trains a novel convolutional neural network to regress the unit quaternion, which represents the 3D rotation, from the partial image inside the bounding box returned by 2D detection systems. Then we propose an algorithm we call Bounding Box Equation to efficiently and accurately obtain the 3D translation, using 3D rotation and 2D bounding box. Considering that the quadratic sum of the quaternion's four elements equals to one, we add a normalization layer to keep the network's output on the unit sphere and put forward a special loss function for unit quaternion regression. We evaluate our method on the LineMod dataset and experiment shows that our approach outperforms base-line and some state of the art methods.

연구 동기 및 목표

• 단일 RGB 이미지에서 깊이 센서나 3D 레이블 없이 6D 객체 자세 추정 문제를 해결하기 위해.
• 텍스처가 있는 객체와 텍스처가 없는 객체 모두를 위해 2D 검출 출력만을 사용해 정확한 자세 추정을 가능하게 하기 위해.
• 기존 2D 객체 검출기와 호환되는 경량이고 효율적인 프레임워크를 개발하여 실시간 배포를 가능하게 하기 위해.
• 특수화된 정규화 레이어와 내적 손실 함수를 통해 유닛 쿼aternion 회귀 성능을 향상시키기 위해.
• 2D 경계상자와 3D 회전을 기반으로 정확한 3D 변위 추정을 위한 새로운 경계상자 방정식을 도입하기 위해.

제안 방법

• 2D 경계상자 내부의 자르기 이미지에서 3D 회전을 나타내는 유닛 쿼aternion을 회귀하는 새로운 CNN인 Q-Net을 학습한다.
• 네트워크 출력이 항상 단위 구면 위에 유지되도록 정규화 레이어를 적용하여 쿼aternion 제약 조건을 유지한다.
• 학습 안정성과 정확도 향상을 위해 유닛 벡터 회귀를 위한 맞춤형 손실 함수인 내적 손실(Dot Product Loss)을 설계한다.
• 경계상자 방정식은 추정된 3D 회전과 2D 경계상자 좌표를 사용해 3D 변위를 계산하며, 3D 모델 기하학적 정보(예: 포인트 클라우드 또는 8개의 모서리)를 활용한다.
• 전체 프로세스는 엔드 투 엔드로 작동한다: 2D 검출 → 3D 회전 예측 → 3D 변위 추정 → 완전한 6D 자세 생성.
• 이 방법은 3D 포인트 클라우드를 모두 사용한 LineMod와 3D 모델이 없이 8개의 모서리만 사용한 일상 물체에 대해 평가된다.

실험 결과

연구 질문

• RQ1 2D 경계상자와 깊이 데이터 없이 단일 RGB 이미지에서 6D 객체 자세를 정확하게 추정할 수 있는가?
• RQ2 딥 러닝 프레임워크 내에서 3D 회전 추정을 위한 유닛 쿼aternion 회귀는 어떻게 향상시킬 수 있는가?
• RQ3 2D 경계상자와 3D 회전을 기반으로 3D 변위를 효율적이고 정확하게 계산할 수 있는 폐쇄형 방정식을 개발할 수 있는가?
• RQ4 제안된 방법은 실생활 환경에서 텍스처가 있는 객체와 텍스처가 없는 객체 모두에 일반화 가능한가?
• RQ5 자세 정확도 및 회전 정확도 측면에서 최신 기술 수준의 접근 방식과 비교해 볼 때, 이 방법은 어떤가?

주요 결과

• LineMod 데이터셋에서 평균 오일러 각도 오차가 5.21°를 기록하여, 이전 방법들인 [16] (11.48°)과 [33] (14.53°)를 능가한다.
• LineMod에서 5cm/5° 기준 성공률이 58.07%를 기록하여, [34]의 40.60%를 초월하며 강력한 일반화 능력을 보여준다.
• 어려운 오이박스와 글루 오브제트의 경우 각각 60.0%와 59.6%의 성공률을 기록하여, [34]의 57.1%와 23.6%를 능가한다.
• 전체 파이프라인은 GTX 1080 GPU에서 19ms 내에 실행되며(2D 검출 16ms, 회전 예측 2ms, 변위 추정 1ms), 실시간 가능성은 입증된다.
• 3D 모델이 없이도 일상 물체(예: 컵, 라디오, 책)에 대해 일반화가 잘 되며, 시각적으로 정확한 자세 예측을 도출한다.
• 제거 실험 결과, 내적 손실과 정규화 레이어가 유닛 쿼aternion 회귀 성능 향상에 크게 기여하는 것으로 확인된다.