[논문 리뷰] A Self-supervised Learning System for Object Detection using Physics Simulation and Multi-view Pose Estimation

Chaitanya Mitash, Kostas E. Bekris외 1명|arXiv (Cornell University)|2017. 03. 09.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 물리 기반 시뮬레이션을 활용한 현실적인 합성 데이터 생성과 다중 시점 자세 추정을 결합한 자기지도 학습 시스템을 제안하며, 혼잡한 로봇 환경에서 객체 검출 및 6DoF 자세 추정 성능을 크게 향상시킨다. 이 방법은 기준 실데이터 학습 대비 12%의 성능 향상을 달성했고, 자세 추정 정확도에서 최신 기술 대비 25% 높은 성능을 기록한다.

ABSTRACT

Progress has been achieved recently in object detection given advancements in deep learning. Nevertheless, such tools typically require a large amount of training data and significant manual effort to label objects. This limits their applicability in robotics, where solutions must scale to a large number of objects and variety of conditions. This work proposes an autonomous process for training a Convolutional Neural Network (CNN) for object detection and pose estimation in robotic setups. The focus is on detecting objects placed in cluttered, tight environments, such as a shelf with multiple objects. In particular, given access to 3D object models, several aspects of the environment are physically simulated. The models are placed in physically realistic poses with respect to their environment to generate a labeled synthetic dataset. To further improve object detection, the network self-trains over real images that are labeled using a robust multi-view pose estimation process. The proposed training process is evaluated on several existing datasets and on a dataset collected for this paper with a Motoman robotic arm. Results show that the proposed approach outperforms popular training processes relying on synthetic - but not physically realistic - data and manual annotation. The key contributions are the incorporation of physical reasoning in the synthetic data generation process and the automation of the annotation process over real images.

연구 동기 및 목표

• 딥 러닝 모델의 로봇 객체 검출 학습에 필요한 수동 레이블링 작업을 줄이기 위해 데이터 생성 및 레이블링을 자동화한다.
• 물리 엔진을 사용해 물리적으로 현실적인 합성 데이터를 생성함으로써 객체 검출기의 일반화 능력을 향상시킨다.
• 다중 시점에서의 고신뢰도 검출을 활용해 실세계 이미지를 재학습하기 위해 레이블링하는 방식으로 수명 주기 학습을 가능하게 한다.
• 시뮬레이션 학습과 실세계 자기 레이블링을 조합하여 혼잡한 환경에서의 6DoF 자세 추정 정확도를 향상시킨다.
• 물리 인식 시나리오 생성과 강력한 다중 시점 자세 추정을 통해 합성 데이터와 실데이터 간 도메인 차이를 최소화한다.

제안 방법

• 중력과 접촉력에 따라 물리 엔진을 사용해 선반이나 테이블 위에 물체를 배치하여 현실적인 자세와 가림 현상을 보장한다.
• perspective projection을 사용해 알려진 카메라 자세에서 합성 이미지를 렌더링하여 Faster-RCNN 학습을 위한 2D 바운딩 박스 레이블을 생성한다.
• 로봇 맨드릴을 배치해 동일한 장면의 여러 시점에서 이미지를 촬영하고, 훈련된 검출기를 사용해 고신뢰도의 객체 자세를 추정한다.
• 추정된 3D 자세를 다시 2D 이미지 평면으로 투영하여 과도한 시점에서의 어려운 상황에서도 정확한 바운딩 박스 레이블을 실이미지에 생성한다.
• 자동으로 레이블링된 실이미지를 점진적으로 학습 데이터셋에 추가하고, 수명 주기 학습 루프에서 Faster-RCNN을 재학습시킨다.
• 모델 정렬 기법(PCA + ICP, Super4PCS, fast-global-registration)을 적용해 6DoF 자세 추정 성능을 평가하고 개선한다.

실험 결과

연구 질문

• RQ1 물리 기반 시뮬레이션은 혼잡한 로봇 환경에서 객체 검출을 위한 합성 데이터의 현실성과 일반화 능력을 향상시킬 수 있는가?
• RQ2 로봇 맨드릴에서의 다중 시점 자세 추정은 수동 레이블링 없이 실이미지의 자동 레이블링을 어느 정도 가능하게 하는가?
• RQ3 자기 레이블링된 실이미지를 시뮬레이션 학습 파이프라인에 통합하면 검출 및 자세 추정 성능가 어떻게 향상되는가?
• RQ4 제안된 자기지도 학습 시스템은 순수 합성 데이터 학습과 대규모 수동 레이블링 실데이터 기반 기준 대비 우수한 성능을 내는가?
• RQ5 실세계 테스트 데이터를 사용한 상태에서 시스템의 6DoF 자세 추정 성능은 최신 기술 대비 어떻게 비교되는가?

주요 결과

• 자기 레이블링된 실이미지로 재학습한 후 객체 검출 정확도가 12% 향상되었다.
• Shelf&Tote 데이터셋의 15,000개의 수동 레이블링된 실이미지를 사용한 기준 방법 대비 6DoF 자세 추정 성공률에서 25% 높은 성능을 기록했다.
• PCA + ICP를 사용한 제안된 학습 파이프라인은 평균 회전 오차 8.50°와 이동 오차 0.03m를 달성했으며, 이는 이전 방법을 초월했다.
• 물리 시뮬레이션 데이터와 자기 레이블링된 실데이터로 훈련된 검출기는 새로운 시점으로의 일반화 능력이 뛰어나 검출 정밀도와 강건성을 향상시켰다.
• 지정된 기준(5cm 이동 오차, 15° 회전 오차) 하에서 6DoF 자세 추정 성공률가 79.4%를 기록했으며, 배경 제거 기반 실데이터 학습 방법을 능가했다.
• 다중 시점에서의 고신뢰도 검출을 활용해 실이미지의 신뢰할 수 있는 자기 레이블링이 가능해져 수동 레이블링 의존도를 감소시켰다.