[논문 리뷰] MobilePose: Real-Time Pose Estimation for Unseen Objects with Weak Shape Supervision

Tingbo Hou, Adel Ahmadyan외 3명|arXiv (Cornell University)|2020. 03. 07.

Robotics and Sensor-Based Localization참고 문헌 31인용 수 27

한 줄 요약

MobilePose는 모바일 기기에서 RGB 이미지로부터 미리보지 않은 물체의 3D 자세 추정을 위한 두 가지 경량 실시간 신경망—MobilePose-Base와 MobilePose-Shape—을 제안한다. 약한 형태의 감독(예: 세그멘테이션 및 좌표 맵)을 중간 특징 학습 단계로 통합함으로써, CAD 모델이나 깊이 센서가 필요 없이도 자세 정확도를 향상시킨다. 이는 모델 크기가 이전의 단일 스텝 방법의 2–3%에 불과한 36 FPS로 모바일 기기에서 구현된다.

ABSTRACT

In this paper, we address the problem of detecting unseen objects from RGB images and estimating their poses in 3D. We propose two mobile friendly networks: MobilePose-Base and MobilePose-Shape. The former is used when there is only pose supervision, and the latter is for the case when shape supervision is available, even a weak one. We revisit shape features used in previous methods, including segmentation and coordinate map. We explain when and why pixel-level shape supervision can improve pose estimation. Consequently, we add shape prediction as an intermediate layer in the MobilePose-Shape, and let the network learn pose from shape. Our models are trained on mixed real and synthetic data, with weak and noisy shape supervision. They are ultra lightweight that can run in real-time on modern mobile devices (e.g. 36 FPS on Galaxy S20). Comparing with previous single-shot solutions, our method has higher accuracy, while using a significantly smaller model (2~3% in model size or number of parameters).

연구 동기 및 목표

• 모바일 기기에서 물체의 정체성을 사전에 알지 못한 채 RGB 이미지로부터 실시간 3D 자세 추정을 가능하게 하는 것.
• 약한 감독을 받는 형태 특징(예: 세그멘테이션, 좌표 맵)이 자원이 제한된 환경에서 자세 추정 정확도를 향상시키는 방식을 탐구하는 것.
• 30 FPS 이상의 속도로 모바일 하드웨어에서 높은 정확도를 유지하면서도 초경량 네트워크를 설계하는 것.
• 추론 시 깊이 센서나 CAD 모델에 의존하지 않도록 하여 표준 스마트폰에서도 배포 가능하게 하는 것.
• AR 및 로봇 공학과 같은 실세계 응용 분야에서 RGB 입력만으로도 엔드 투 엔드 모바일 배포를 보여주는 것.

제안 방법

• 실시간 모바일 추론을 위한 최소한의 모델 크기를 갖춘 단일 스텝, 앵커 기반 3D 물체 검출 및 자세 추정 네트워크인 MobilePose-Base를 제안한다.
• 형태 예측(세그멘테이션 및 좌표 맵)을 중간 레이어로 삽입하여 고해상도 특징에서 자세 학습을 유도하는 MobilePose-Shape를 도입한다.
• 약한 및 노이지 형태 감독을 사용한 합성 데이터를 활용해 형태 특징을 사전 학습함으로써, 실제 이미지로의 전이를 가능하게 한다.
• MobileNet 아키텍처를 기반으로 한 경량 인코더를 사용하며, 채널 및 블록 프루닝을 통해 모델 크기를 약 50% 감소시키면서도 성능을 유지한다.
• TFLite와 GPU 딜리게이트를 활용해 모바일 GPU에서 효율적인 추론을 수행하며, 후처리 오버헤드를 최소화한다.
• 가능한 디코더를 사용하여 3D 경계 상자 정점의 투영된 좌표를 회귀시켜 6D 자세(회전, 이동, 스케일)를 추정한다.

실험 결과

연구 질문

• RQ1 노이지 세그멘테이션 또는 좌표 맵과 같은 약한 감독을 받는 형태 특징이 중간 감독 신호로 사용될 때 3D 자세 추정 정확도를 향상시킬 수 있는가?
• RQ2 후처리 단계가 아닌 네트워크 아키텍처 내부에 형태 예측을 통합할 경우, 미리보지 않은 물체의 자세 추정에 어떤 영향을 미치는가?
• RQ3 합성 데이터에서 훈련된 초경량 모델이 실시간으로 모바일 기기에서 실세계의 새로운 물체로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 중간 단계에서 형태 감독을 통해 저해상도 특징 맵에서 더 나은 특징 학습이 가능해지며, 제한된 감독 조건에서도 자세 정확도 향상에 기여하는가?
• RQ5 모바일 최적화된 모델이 이전의 단일 스텝 방법보다 더 높은 정확도를 달성하면서도 현저히 작고 빠른가?

주요 결과

• MobilePose-Shape는 커스터마이즈된 신발 데이터셋에서 YOLO-Seg 및 YOLO-6D보다 3D IoU 0.5일 때 AP가 10% 높으며, 모델 크기는 오직 18MB에 불과하다.
• MobilePose-Base는 Galaxy S20에서 16MB 모델 크기로 36 FPS로 실행되며, 이전의 단일 스텝 방법보다 속도(3–12배 빠름)와 모델 크기(파라미터 수 2–3%)에서 뛰어난 성능을 보인다.
• Linemod 데이터셋에서 MobilePose는 REP-5px 98.92%와 ADD-0.1d 42.70%를 기록하여 YOLO-6D를 모두 상회한다.
• Occlusion 데이터셋에서 MobilePose는 REP-5px 95.9%와 ADD-0.1d 29.0%를 기록하여 YOLO-Seg의 59.1%와 12.1%를 크게 앞서며, 특히 정확도에서 뚜렷한 우월성을 보였다.
• 좌표 맵 감독에 50개의 스캔된 신발만을 사용하고 세그멘테이션 레이블에 노이즈가 있음에도 불구하고, 합성 데이터에서의 전이 학습 덕분에 미리보지 않은 신발로도 잘 일반화된다.
• 형태 특징을 중간 레이어로 통합하는 것이 후처리 단계의 형태 예측보다 자세 추정 성능 향상에 더 효과적이며, 특히 약한 감독 조건에서 두드러진다.