[논문 리뷰] Pose Estimation for Texture-less Shiny Objects in a Single RGB Image Using Synthetic Training Data

Chen Chen, Xin Jiang외 2명|arXiv (Cornell University)|2019. 09. 23.

Industrial Vision Systems and Defect Detection참고 문헌 25인용 수 6

한 줄 요약

이 논문은 합성 RGB 데이터와 조밀한 에지 키포인트를 사용하여 무늬가 없고 반사성이 높은 금속 부품을 위한 새로운 6D 자세 추정 방법을 제안한다. 마스크 R-CNN을 통한 검출, 스택드 아워글라스 네트워크를 통한 키포인트 회귀, 반사 인식 기반 자세 보정 파이프라인을 조합함으로써, 실세계 데이터에 대한 훈련 없이도 반사 및 부분 가림이 있는 도전적인 산업 환경에서도 정확한 성능을 달성한다.

ABSTRACT

In the industrial domain, the pose estimation of multiple texture-less shiny parts is a valuable but challenging task. In this particular scenario, it is impractical to utilize keypoints or other texture information because most of them are not actual features of the target but the reflections of surroundings. Moreover, the similarity of color also poses a challenge in segmentation. In this article, we propose to divide the pose estimation process into three stages: object detection, features detection and pose optimization. A convolutional neural network was utilized to perform object detection. Concerning the reliability of surface texture, we leveraged the contour information for estimating pose. Since conventional contour-based methods are inapplicable to clustered metal parts due to the difficulties in segmentation, we use the dense discrete points along the metal part edges as semantic keypoints for contour detection. Afterward, we exploit both keypoint information and CAD model to calculate the 6D pose of each object in view. A typical implementation of deep learning methods not only requires a large amount of training data, but also relies on intensive human labor for labeling the datasets. Therefore, we propose an approach to generate datasets and label them automatically. Despite not using any real-world photos for training, a series of experiments showed that the algorithm built on synthetic data perform well in the real environment.

연구 동기 및 목표

• 반사 및 낮은 대비로 인해 기존 무늬 기반 방법이 실패하는 산업 환경에서, 무늬가 없고 반사성이 높은 금속 부품의 6D 자세 추정 문제를 해결하기 위해.
• 실세계 데이터 수집 및 수작업 레이블링의 필요성을 제거하기 위해 대규모로 완전히 애너테이션된 합성 데이터셋을 자동으로 생성하는 파이프라인을 개발하기 위해.
• 반사성 부품 간의 상호 반사 아티팩트를 줄이기 위해 반사 인식 렌더링 및 키포인트 재추정 전략을 도입함으로써, 군집된 금속 부품 환경에서의 자세 추정 정확도를 향상시키기 위해.
• 합성 데이터로만 훈련된 모델이 실세계 산업 환경으로 일반화될 수 있는지 검증하기 위해, 특히 어려운 조명 조건과 부분 가림 조건에서도 효과적으로 작동하는지 확인하기 위해.

제안 방법

• Bl렌더를 사용하여 군집된 금속 부품의 합성 RGB 이미지를 생성하였으며, 배경, 조명, 부품 자세를 랜덤화하여 실세계의 다양성을 시뮬레이션하였다.
• 합성 데이터에서 학습된 마스크 R-CNN 기반 네트워크를 사용하여 개별 금속 부품을 검출하고, 경계 상자와 인스턴스 마스크를 생성하였다.
• CAD 모델의 가장자리에 따라 조밀한 3D 키포인트를 투영하고, 이를 바탕으로 스택드 아워글라스 네트워크를 학습시켜 이미지 내 2D 키포인트 위치를 회귀하였다.
• 반사 인식 기반 자세 보정 전략을 도입함: 신뢰도가 높은 부품의 자세를 검출한 후, OpenDR를 사용하여 그 2D 투영을 재렌더링하여 반사 영역을 마스킹함으로써, 겹치거나 반사성이 높은 부품에서 정확한 키포인트 검출이 가능하도록 하였다.
• 검출된 키포인트와 CAD 모델 간의 가중치가 부여된 2D-3D 대응 관계를 사용하여 PnP를 통해 자세 최적화를 수행하였으며, 재투영 오차를 기반으로 최적의 자세 후보를 선택하였다.
• 전체 파이프라인은 순차적으로 실행됨: 객체 검출 → 키포인트 검출 → 반사 인식 보정 → 자세 최적화, 신뢰도 점수가 처리 순서를 지휘함.

실험 결과

연구 질문

• RQ1 합성 RGB 데이터로만 훈련된 딥러닝 모델이 실세계 산업 환경에서 무늬가 없고 반사성이 높은 금속 부품에 대해 강건한 6D 자세 추정을 달성할 수 있는가?
• RQ2 군집된 금속 부품 간의 상호 반사 현상을 키포인트 검출 및 자세 추정 과정에서 어떻게 완화할 수 있는가?
• RQ3 오버랩되는 반사 및 부분 가림으로 인한 자세 추정 오차를 최소화하기 위해 군집된 금속 부품 중 어떤 전략으로 부품을 선택하고 처리하는 것이 가장 효과적인가?
• RQ4 높은 반사성과 무늬가 없는 물체에서 자세 추정을 위해 조밀한 에지 기반 키포인트가 무늬 기반 특징을 얼마나 효과적으로 대체할 수 있는가?
• RQ5 자동화된 합성 데이터 생성 및 레이블링이 6D 객체 자세 추정에서 고비용 수작업 레이블링이 필요한 실세계 데이터셋의 필요성을 제거할 수 있는가?

주요 결과

• 모델은 실세계 장면에서 실세계 데이터에 대한 훈련 없이도 무늬가 없고 반사성이 높은 금속 부품에 대해 정확한 6D 자세 추정을 달성하였으며, 강력한 일반화 능력을 입증하였다.
• 반사 인식 보정 과정은 상호 반사로 인한 잘못된 키포인트 검출을 크게 감소시켜 겹치는 부품에서의 자세 정확도를 향상시켰다.
• 스택드 아워글라스 네트워크는 반사성이 높고 무늬가 없는 영역에서도 조밀한 에지 점들로부터 2D 키포인트를 성공적으로 회귀시켰다.
• 합성 데이터에서 마스크 R-CNN를 사용한 객체 검출은 경계 상자와 마스크를 포함한 신뢰할 수 있는 인스턴스 수준의 검출을 달성하였으며, 후속 작업의 견고한 기반을 마련하였다.
• 이미지당 총 처리 시간은 검출에 약 1.2초, 키포인트 예측에 0.5초, 자세 최적화에 0.3초 미만이었으며, 실시간 산업 응용에 적합한 파이프라인임을 입증하였다.