[논문 리뷰] Scene-level Pose Estimation for Multiple Instances of Densely Packed Objects

Chaitanya Mitash, Bowen Wen외 2명|arXiv (Cornell University)|2019. 01. 01.

Robot Manipulation and Learning인용 수 11

한 줄 요약

이 논문은 RGB-D 데이터로부터 다수의 조밀하게 포장된 물체에 대한 강건한 동시 6D 자세 추정을 위한 자기지도 학습, 시뮬레이션 기반 방법을 제안한다. 합성 데이터를 사용한 적대적 훈련을 통해 의미 및 인스턴스 세그멘테이션을 학습하고, 확률적 검출기로부터 자세 후보를 추출하며, 표면 및 경계 일치도를 기반으로 후보를 평가하기 위해 기울기 부스팅 트리를 활용한다. 최종 자세는 정수 선형 프로그래밍을 통해 선택되며, 실제 데이터 레이블 없이도 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

This paper introduces key machine learning operations that allow the realization of robust, joint 6D pose estimation of multiple instances of objects either densely packed or in unstructured piles from RGB-D data. The first objective is to learn semantic and instance-boundary detectors without manual labeling. An adversarial training framework in conjunction with physics-based simulation is used to achieve detectors that behave similarly in synthetic and real data. Given the stochastic output of such detectors, candidates for object poses are sampled. The second objective is to automatically learn a single score for each pose candidate that represents its quality in terms of explaining the entire scene via a gradient boosted tree. The proposed method uses features derived from surface and boundary alignment between the observed scene and the object model placed at hypothesized poses. Scene-level, multi-instance pose estimation is then achieved by an integer linear programming process that selects hypotheses that maximize the sum of the learned individual scores, while respecting constraints, such as avoiding collisions. To evaluate this method, a dataset of densely packed objects with challenging setups for state-of-the-art approaches is collected. Experiments on this dataset and a public one show that the method significantly outperforms alternatives in terms of 6D pose accuracy while trained only with synthetic datasets.

연구 동기 및 목표

• 잡다한 장면에서 수동 인스턴스 수준의 레이블 없이도 다수의 조밀하게 포장된 물체에 대한 정확한 동시 6D 자세 추정을 가능하게 하기 위해.
• 물리 기반 시뮬레이션에서 적대적 훈련을 통해 합성 데이터와 실제 세계 데이터 간의 도메인 갭을 줄여 물체 검출 및 인스턴스 세그멘테이션에 기여하기 위해.
• 관측된 장면과 가설적 물체 배치 간의 기하 일치도 특징을 기반으로 기울기 부스팅 트리에 의해 자동으로 자세 후보를 평가하기 위해.
• 충돌 방지 제약 조건을 만족시키면서 총 점수를 최대화하는 정수 선형 프로그래밍을 통해 다수의 물체 자세를 동시에 최적화하기 위해.
• 새로 수집한 도전적인 조밀한 포장 물체 데이터셋과 공개 벤치마크에서 방법을 평가하여, 합성 데이터에서의 강력한 일반화 성능을 입증하기 위해.

제안 방법

• 합성 데이터와 실제 데이터의 분포를 일치시키기 위해 적대적 훈련 프레임워크를 사용하여 의미 및 인스턴스 경계 검출에 대해 실세계 장면으로의 제로샷 일반화를 가능하게 한다.
• 확률적 물체 검출기의 출력을 활용해 장면 내 각 검출된 물체 인스턴스에 대해 다수의 6D 자세 가설을 추출한다.
• 관측된 장면과 가설적 자세에서의 물체 모델 간의 표면 및 경계 일치도를 측정하는 특징을 기반으로 기울기 부스팅 트리가 각 자세 후보에 대해 단일 품질 점수를 학습한다.
• 정수 선형 프로그래밍은 모든 인스턴스의 학습된 점수 합을 최대화하면서 충돌이 없는 최적의 자세 조합을 선택한다.
• 전체 파ipeline는 실제 세계 레이블이 전혀 필요 없는 물리 기반 시뮬레이션을 통해 생성된 합성 RGB-D 데이터에서만 훈련된다.
• 예측된 장면 구조와 관측된 장면 구조 간의 기하 일致성을 활용하여, 겹치는 구성이 많은 혼잡한 장면에서도 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 자기지도 학습 방법이 합성 훈련 데이터만을 사용하여 다수의 조밀하게 포장된 물체에 대해 고정확도의 6D 자세 추정을 달성할 수 있는가?
• RQ2 잡다한 장면에서 인스턴스 수준의 검출에 대해, 적대적 도메인 적응이 합성 데이터와 실제 데이터의 분포를 효과적으로 일치시키는가?
• RQ3 기하 일치도 특징을 기반으로 학습된 스코링 함수가 복잡하고 겹치는 장면에서 자세 후보를 신뢰성 있게 순위 매길 수 있는가?
• RQ4 충돌 제약 조건을 포함한 정수 선형 프로그래밍은 독립적인 선택에 비해 최종 자세 정확도를 얼마나 향상시키는가?
• RQ5 기존 최신 기술 대비, 실제 세계의 비정형 물체 무더미에 대해 이 방법은 얼마나 잘 일반화되는가?

주요 결과

• 이 방법은 새로 수집한 조밀한 포장 데이터셋과 공개 벤치마크 양쪽 모두에서 최신 기술 수준의 6D 자세 추정 정확도를 달성하며, 기존 방법을 능가한다.
• 합성 데이터에서만 훈련되었음에도 불구하고 실제 세계 장면으로의 효과적인 일반화를 보이며, 강력한 제로샷 도메인 일반화 성능을 입증한다.
• 물리 기반 시뮬레이션을 사용한 적대적 훈련은 인스턴스 세그멘테이션 및 검출에 있어 합성 데이터와 실제 데이터 간의 도메인 갭을 크게 감소시킨다.
• 기울기 부스팅 트리 스코링 메커니즘은 관측된 장면과 예측된 장면 구조 간의 기하 일치도를 측정하여 고품질 자세 후보를 효과적으로 식별한다.
• 충돌 제약 조건이 있는 정수 선형 프로그래밍은 겹치는 물체 가설 간의 갈등을 해결하여 최종 자세 정확도에 상당한 향상을 이룬다.
• 기존 최신 기술이 실패하거나 상당히 성능 저하가 발생하는 매우 혼잡하고 조밀하게 포장된 장면에서도 높은 성능을 달성한다.