[논문 리뷰] Sim-to-Real 6D Object Pose Estimation via Iterative Self-training for Robotic Bin Picking

Kai Chen, Rui Cao외 5명|arXiv (Cornell University)|2022. 04. 14.

Robot Manipulation and Learning인용 수 4

한 줄 요약

이 논문은 사진처럼 사실적인 시뮬레이터를 활용해 합성 데이터를 생성하고, 교사 모델에서 유도된 허위 레이블을 사용해 실데이터에서 반복적으로 포즈 추정을 정교화하는 반복적 자기학습 프레임워크를 제안한다. 이는 로봇 박스픽킹 응용 분야에서 시뮬레이션에서 실제 환경으로의 6차원 물체 포즈 추정을 위한 것이다. 제안된 방법은 새로운 데이터셋에서 ADD(-S)에 대해 22.62% 향상시키며, 로봇 박스픽킹 성공률을 19.54% 향상시켜 수동 레이블링 없이 효과적인 도메인 적응을 보여준다.

ABSTRACT

In this paper, we propose an iterative self-training framework for sim-to-real 6D object pose estimation to facilitate cost-effective robotic grasping. Given a bin-picking scenario, we establish a photo-realistic simulator to synthesize abundant virtual data, and use this to train an initial pose estimation network. This network then takes the role of a teacher model, which generates pose predictions for unlabeled real data. With these predictions, we further design a comprehensive adaptive selection scheme to distinguish reliable results, and leverage them as pseudo labels to update a student model for pose estimation on real data. To continuously improve the quality of pseudo labels, we iterate the above steps by taking the trained student model as a new teacher and re-label real data using the refined teacher model. We evaluate our method on a public benchmark and our newly-released dataset, achieving an ADD(-S) improvement of 11.49% and 22.62% respectively. Our method is also able to improve robotic bin-picking success by 19.54%, demonstrating the potential of iterative sim-to-real solutions for robotic applications.

연구 동기 및 목표

• 로봇 박스픽킹 응용 분야에서 실제 환경의 6차원 물체 포즈 데이터를 레이블링하는 데 드는 높은 비용과 어려움을 해결하기 위해.
• 맞춤형 시뮬레이션 설정이나 네트워크 아키텍처를 요구하지 않고 6차원 물체 포즈 추정에서의 시뮬레이션-실환경 도메인 갭을 줄이기 위해.
• 오직 레이블이 없는 실데이터만을 사용해 새로운 실제 환경의 박스픽킹 시나리오에 대해 확장 가능하고 네트워크에 종속되지 않는 포즈 추정 모델 적응을 가능하게 하기 위해.
• 합성 데이터로만 훈련된 포즈 추정 모델의 실제 환경 성능을 반복적 자기학습과 허위 레이블링을 통해 향상시키기 위해.

제안 방법

• 사진처럼 사실적인 시뮬레이터를 사용해 초기 포즈 추정 네트워크를 사전 훈련하기 위해 정확한 6차원 포즈 레이블이 부여된 풍부한 합성 RGB-D 데이터를 생성한다.
• 사전 훈련된 모델이 교사 역할을 하여 레이블이 없는 실제 환경 데이터에서 6차원 포즈를 예측하고, 자기학습을 위한 허위 레이블을 생성한다.
• 신뢰할 수 있는 허위 레이블을 식별하고 잡음이 많은 예측을 걸러내기 위해 2차원 외관과 3차원 기하학적 특징을 통합한 적응형 선택 기법을 도입한다.
• 선택된 허위 레이블이 부여된 실데이터에서 학생 모델을 미세조정하고, 업데이트된 학생 모델을 새로운 교사로 반복적으로 반복한다.
• 반복적인 정교화 과정은 실데이터에서의 포즈 추정 정확도를 점진적으로 향상시키며, 약 5회 반복 후 성능 포화 상태에 도달한다.
• 제안된 방법은 공개 벤치마크와 새로 공개된 데이터셋에서 평가되었으며, 실제 로봇 암을 활용해 박스픽킹 작업에 구현되었다.

실험 결과

연구 질문

• RQ1 허위 레이블링을 사용한 반복적 자기학습이 수동 레이블링 없이 시뮬레이션-실환경 갭을 효과적으로 줄일 수 있는가?
• RQ2 실데이터에서 자기학습의 반복 횟수가 증가할수록 포즈 추정 모델의 성능은 어떻게 향상되는가?
• RQ3 이 방법이 다양한 백본 네트워크와 실제 환경의 박스픽킹 시나리오 간에 얼마나 일반화되는가?
• RQ4 포즈 추정 정확도 향상으로 인해 제안된 방법이 로봇 박스픽킹 성공률을 크게 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 공개 ROBI 벤치마크 데이터셋에서 ADD(-S)에 대해 11.49% 향상시켰다.
• 새로 공개된 데이터셋에서 ADD(-S)는 22.62% 향상되어 강력한 도메인 적응 능력을 입증했다.
• 로봇 박스픽킹 성공률은 자기학습 프레임워크 적용 후 67.96%에서 87.50%로 상승했다.
• 첫 번째 반복에서 가장 큰 성능 향상이 발생했으며, 약 5회 반복 후에는 수익 감소 현상이 나타났다.
• DenseFusion과 같은 다양한 백본 네트워크 간에도 일반화 가능하며, 실데이터에서 일관된 성능 향상을 보였다.
• 정성적 결과는 반복적 정교화 과정이 시간이 지남에 따라 예측 포즈가 진짜 값에 가까워지는 경향을 보여주었다.