[논문 리뷰] CAD 3D Model classification by Graph Neural Networks: A new approach based on STEP format

Lorenzo Mandelli, S. Berretti|arXiv (Cornell University)|2022. 10. 30.

Manufacturing Process and Optimization인용 수 5

한 줄 요약

이 논문은 기하 원소를 그래프 구조로 변환하여 형식 변환 없이 네이티브 STEP 포맷 파일에서 직접 3D CAD 모델 분류 및 검색을 위한 새로운 그래프 신경망(GNN)-기반 접근법을 제안한다. 제안된 방법은 자체 제작 데이터셋에서 98.9%의 mAP를 달성하여 PointNet++를 능가하고, 동등한 3D 형식에서 MVCNN과 동등한 성능을 보였다.

ABSTRACT

In this paper, we introduce a new approach for retrieval and classification of 3D models that directly performs in the Computer-Aided Design (CAD) format without any conversion to other representations like point clouds or meshes, thus avoiding any loss of information. Among the various CAD formats, we consider the widely used STEP extension, which represents a standard for product manufacturing information. This particular format represents a 3D model as a set of primitive elements such as surfaces and vertices linked together. In our approach, we exploit the linked structure of STEP files to create a graph in which the nodes are the primitive elements and the arcs are the connections between them. We then use Graph Neural Networks (GNNs) to solve the problem of model classification. Finally, we created two datasets of 3D models in native CAD format, respectively, by collecting data from the Traceparts model library and from the Configurators software modeling company. We used these datasets to test and compare our approach with respect to state-of-the-art methods that consider other 3D formats. Our code is available at https://github.com/divanoLetto/3D_STEP_Classification

연구 동기 및 목표

• 대규모 레포지토리에서 3D CAD 모델의 수작업 분류가 비효율적이고 실수를 유발하는 문제를 해결한다.
• 점군이나 메esh로 변환된 형식에 의존하는 기존 3D 모델 분류 방법의 한계를 극복한다. 이러한 방법들은 기하학적 및 매개변수 정보를 손실한다.
• STEP 형식의 내재된 연결 구조를 활용하여 네이티브 CAD 데이터에서 직접 학습을 가능하게 한다.
• 분류 및 검색 작업을 위한 네이티브 STEP 형식의 3D CAD 모델 신규 벤치마크 데이터셋을 구축하고 검증한다.
• 그래프 구조화된 CAD 데이터에 적용된 GNN이 변환된 3D 형식에서 훈련된 최신 기술 모델보다 우수한 성능을 보임을 입증한다.

제안 방법

• 3D CAD 모델을 STEP 형식에서 기하 원소(예: 표면, 정점 등)를 노드로, 그들 간의 위상적 연결을 간선으로 하는 그래프 표현으로 변환한다.
• 그래프 컬러레이션 네트워크(GCNs)를 사용하여 그래프 기반 CAD 데이터로부터 계층적이고 구조적인 특징을 학습한다.
• 유사도 기반 검색을 위해 GNN의 최종 소프트맥스 레이어에서 특징 벡터를 추출한다.
• 두 개의 자체 제작된 네이티브 CAD 모델 데이터셋을 구축한다: 하나는 Traceparts 온라인 라이브러리에서, 다른 하나는 Configurators s.r.l. 소프트웨어 회사에서 확보한 자료로, 수작업으로 클래스로 분류하였다.
• 특징 벡터 간의 코사인 유사도를 적용하여 평균 평균 정확도(mAP)를 계산하여 검색 성능 평가를 수행한다.
• 다양한 GNN 레이어에서의 특징 추출 성능을 평가하여 소프트맥스 레이어가 mAP 측면에서 최적임을 선택한다.

실험 결과

연구 질문

• RQ1 점군이나 메쉬로의 변환 없이 네이티브 STEP 형식을 직접 처리하는 그래프 신경망이 3D CAD 모델을 효과적으로 분류할 수 있는가?
• RQ2 그래프로 변환된 CAD 데이터에 적용된 GNN의 성능은 PointNet++ 및 MVCNN과 같은 최신 기술 모델이 변환된 3D 형식에서 훈련한 성능에 비해 어떻게 비교되는가?
• RQ3 특징 벡터 추출 레이어(예: 소프트맥스 vs. 이전의 FC 레이어)의 영향은 mAP를 평가 지표로 사용할 때 검색 성능에 어떤 영향을 미치는가?
• RQ4 CAD 모델의 구조적 복잡도(예: 노드 및 아크 수)는 그래프 표현의 확장성과 메모리 사용량에 얼마나 큰 영향을 미치는가?
• RQ5 CAD 모델의 계층적 및 매개변수 정보는 기하 유형 외에도 분류 정확도 향상에 더 활용될 수 있는가?

주요 결과

• 소프트맥스 레이어에서 특징 벡터를 추출하고 코사인 거리 기반으로 평가한 결과, 첫 번째 자체 제작 데이터셋에서 평균 평균 정확도(mAP)가 0.989를 달성하였다.
• 첫 번째 데이터셋에서는 100%의 분류 정확도를 기록했고, 두 번째 데이터셋에서는 97.5%의 정확도를 기록하여 네이티브 CAD 데이터에 대한 강력한 일반화 능력을 입증하였다.
• 소프트맥스 레이어가 가장 높은 mAP를 기록했으며, 이는 이전 레이어들(예: 첫 번째 FC 레이어의 ReLU 적용 시 0.919)보다 유의미하게 뛰어난 성능을 보여, 검색에 효과적임을 확인하였다.
• 점군으로 변환된 동등한 데이터에서 PointNet++를 초월하였고, 여러 2D 뷰 표현에서 MVCNN의 성능을 뛰어나거나 동등하게 유지하였다.
• 그래프 저장 크기는 노드 수와 아크 수에 비례적으로 증가하였으며, 40,000개 노드를 가진 그래프의 경우 최대 11MB(.graphml 파일)를 차지하여 복잡한 모델에 대해 메모리 및 확장성 문제를 드러냈다.
• 그래프 크기에 높은 변동성을 보이는 모델들(예: 클래스 2)은 분류가 더 어려운 것으로 나타나, 데이터의 구조적 비정규성에 민감함을 시사하였다.