[논문 리뷰] Geometric Digital Twinning of Industrial Facilities: Retrieval of Industrial Shapes

Eva Agapaki, Ioannis Brilakis|arXiv (Cornell University)|2022. 02. 10.

3D Shape Modeling and Analysis인용 수 9

한 줄 요약

이 논문은 스캔된 점군에서 개별 산업 부품에 대한 기하학적으로 유사한 CAD 모델을 자동으로 검색하기 위해 이미지와 점군 네트워크를 결합한 딥러닝 기반 프레임워크를 제안한다. 이는 실제 CAD 모델과의 매칭에서 85.2%의 정확도를 달성하여 산업 시설의 자동 기하학적 디지털 트윈 생성을 가능하게 한다.

ABSTRACT

This paper devises, implements and benchmarks a novel shape retrieval method that can accurately match individual labelled point clusters (instances) of existing industrial facilities with their respective CAD models. It employs a combination of image and point cloud deep learning networks to classify and match instances to their geometrically similar CAD model. It extends our previous research on geometric digital twin generation from point cloud data, which currently is a tedious, manual process. Experiments with our joint network reveal that it can reliably retrieve CAD models at 85.2\% accuracy. The proposed research is a fundamental framework to enable the geometric Digital Twin (gDT) pipeline and incorporate the real geometric configuration into the Digital Twin.

연구 동기 및 목표

• 기하학적 모델링 단계의 노동 집약적인 특성으로 인해 현재 존재하는 산업 시설의 기하학적 디지털 트윈(gDT) 생성에 소요되는 높은 비용과 수작업 노력을 해결하기 위해.
• 수작업 문서화에 의존도를 줄이기 위해 3D 점군 스캔에서 개별 산업 부품(예: 파이프, 밸브, 빔 등)의 정확한 CAD 모델 검색을 자동화하기 위해.
• 실제 스캔된 부품을 그 기하학적으로 동일한 CAD 모델과 매칭하는 데 정확도를 향상시키기 위해 이미지와 점군을 동시에 처리하는 공동 분류 네트워크를 개발하기 위해.
• 딥러닝과 산업 자산 기하학을 융합하여 기하학적 디지털 트윈링을 위한 확장 가능하고 신뢰할 수 있는 파이프라인을 수립하여 예방 정비 및 수명 주기 관리 지원을 위해.
• 기하학적 모델링 단계에서 gDT 생성 비용의 90%를 차지하는 점을 감안해, 점군과 CAD 모델 간의 인스턴스 수준 매칭을 자동화함으로써 수작업 의존도를 감소시키기 위해.

제안 방법

• RGB 이미지와 3D 점군 데이터를 동시에 처리하여 개별 점 클러스터(인스턴스)를 해당 CAD 모델과 분류 및 매칭하는 공동 딥러닝 네트워크를 활용한다.
• 이미지 분류를 위해 MobileNetV2 기반 아키텍처를 사용하고, 스캔된 부품의 기하학적 특징을 추출하기 위해 점군 처리 네트워크를 활용한다.
• 기계 부품(MCB-B) 다중 클래스 데이터셋을 사용하여 네트워크를 엔드 투 엔드로 훈련시키며, 이 데이터셋에는 25개 클래스에 걸쳐 18,000개 이상의 CAD 모델이 포함되어 있다. 이에는 볼트, 기어, rolling bearing, 파이프 등이 포함된다.
• 재구성된 점군의 특징 벡터와 CAD 모델 간의 쌍별 유클리드 거리 기반 유사도 측도를 사용하여 검색 성능을 평가한다.
• 이미지 분류 브랜치의 훈련을 위해 합성 렲팅 파이프라인(Panda3D)을 활용하여 CAD 모델의 현실적인 이미지를 생성한다.
• 이중 단계 파이프라인을 구현한다. 첫 번째 단계에서는 이전의 세그멘테이션 방법을 활용해 점군을 개별 부품으로 클러스터링하고, 두 번째 단계에서는 공동 네트워크를 사용해 해당 CAD 모델을 분류 및 검색한다.

실험 결과

연구 질문

• RQ1 실제 점군 스캔에서 개별 산업 부품에 대한 CAD 모델을 고정확도로 검색하기 위해 공동 이미지 및 점군 딥러닝 네트워크를 활용할 수 있는가?
• RQ2 단독 이미지 또는 점군 네트워크와 비교해 본다면, 제안된 공동 네트워크는 분류 정확도와 부분적 스캔에 대한 강건성 측면에서 어떻게 성능을 발휘하는가?
• RQ3 다양한 산업 시설(예: 정유 공장, 창고, 석유화학 플랜트 등)에서 구성 요소 종류와 스캔 품질의 다양성에도 불구하고 프레임워크의 일반화 능력은 어느 정도인가?
• RQ4 사전 훈련된 특징 표현이 검색 성능에 미치는 영향은 무엇인가? 특히 드문 또는 복잡한 기계 부품의 경우에 대해.
• RQ5 고도로 신뢰할 수 있는 방식으로 모델 검색 단계를 자동화함으로써 기하학적 디지털 트윈 생성의 수작업 노력은 얼마나 감소할 수 있는가?

주요 결과

• 제안된 공동 딥러닝 네트워크는 스캔된 산업 부품에 대해 정확한 CAD 모델을 검색하는 데 있어 85.2%의 상위 1위 정확도를 달성하여 기준 방법들을 크게 능가한다.
• MCB(B) 데이터셋에서 공동 네트워크는 총 정확도 85.3%를 기록했으며, 정밀도 74.6%와 재현율 71.7%를 확보하여 다양한 기계 부품에서 뛰어난 성능을 보였다.
• T-LESS 데이터셋에서 상위 3위 및 상위 5위 정확도는 각각 88.9%를 기록하여 스캔 품질 및 시점 변화에 대한 강건성과 뛰어난 일반화 능력을 입증했다.
• 점군과 CAD 모델 간의 인스턴스 수준 매칭을 자동화함으로써 수작업 기하학적 모델링의 필요성을 줄여, gDT 생성의 주요 비용 요인을 직접 해결했다.
• PCA를 통한 특징 벡터 분석 결과, CAD 모델과 재구성된 점군 간에 명확한 분리가 관찰되어 네트워크가 구분 가능한 기하학적 표현을 학습할 수 있음을 확인했다.
• 민감도 분석 결과, 사전 훈련된 네트워크가 특히 클램프나 힌지와 같이 희귀 클래스에 대해 검색 성능 향상에 크게 기여하는 것으로 확인되었다.