[논문 리뷰] Synthetic-to-real Composite Semantic Segmentation in Additive Manufacturing

Aliaksei Petsiuk, Harnoor Singh외 2명|arXiv (Cornell University)|2022. 10. 14.

Additive Manufacturing and 3D Printing Technologies인용 수 4

한 줄 요약

이 논문은 물리기반 렲영과 이미지 간 스타일 전이를 활용하여 3D 프린팅의 세분화 분할을 위한 합성 데이터에서 실제 데이터로의 도메인 적응 프레임워크를 제안한다. 도메인 적응 이전에 실제 이미지를 합성 데이터 스타일로 변환하는 실재-합성 스타일 전이를 적용함으로써, 순수하게 합성 데이터로만 훈련된 모델을 사용할 경우 실제 3D 프린팅 이미지에서 mIoU를 61.10%에서 75.19%로 향상시켜 합성-실제 도메인 간 격차를 크게 줄였다.

ABSTRACT

The application of computer vision and machine learning methods in the field of additive manufacturing (AM) for semantic segmentation of the structural elements of 3-D printed products will improve real-time failure analysis systems and can potentially reduce the number of defects by enabling in situ corrections. This work demonstrates the possibilities of using physics-based rendering for labeled image dataset generation, as well as image-to-image translation capabilities to improve the accuracy of real image segmentation for AM systems. Multi-class semantic segmentation experiments were carried out based on the U-Net model and cycle generative adversarial network. The test results demonstrated the capacity of detecting such structural elements of 3-D printed parts as a top layer, infill, shell, and support. A basis for further segmentation system enhancement by utilizing image-to-image style transfer and domain adaptation technologies was also developed. The results indicate that using style transfer as a precursor to domain adaptation can significantly improve real 3-D printing image segmentation in situations where a model trained on synthetic data is the only tool available. The mean intersection over union (mIoU) scores for synthetic test datasets included 94.90% for the entire 3-D printed part, 73.33% for the top layer, 78.93% for the infill, 55.31% for the shell, and 69.45% for supports.

연구 동기 및 목표

• 초보자에서 최대 20%까지 발생할 수 있는 높은 3D 프린팅 실패율 문제를 해결하기 위해 실시간 현장 결함 검출을 가능하게 하기 위해.
• 비용이 많이 들고 시간이 오래 걸리는 실제 데이터 레이블링에 대한 의존도를 줄이기 위해 물리기반 렌더링를 활용한 합성 데이터 생성을 활용하기 위해.
• 이미지 간 번역 및 도메인 적응 기법을 사용하여 3D 프린팅 이미지 세분화에서 합성-실제 도메인 간 격차를 해소하기 위해.
• 캘리브레이션 및 위치 설정 요구 사항을 줄이는 카메라 독립적이고 마커 없는 모니터링 시스템을 개발하기 위해.
• 단일 카메라와 이식 가능한 딥 러닝 모델을 활용하여 확장 가능하고 저비용의 3D 프린팅 부품 시각적 모니터링을 가능하게 하기 위해.

제안 방법

• 3D 프린팅 부품의 G-코드 파일에서 Blender의 물리기반 렌더링 엔진을 사용해 사진처럼 생긴 합성 훈련 데이터를 생성하였다.
• 합성 이미지에서 U-Net 기반의 다중 클래스 세분화 모델을 훈련시켜 상단 층, 인발, 셸링, 지지 구조를 식별하였다.
• 실제 3D 프린팅 이미지를 합성 데이터 스타일에 맞추기 위해 실재-합성 이미지 간 스타일 전이(CycleGAN 사용)를 적용하였다.
• 스타일 전이를 거친 실제 이미지를 합성 데이터로 훈련된 모델의 입력으로 사용함으로써, 실제 레이블이 없이도 도메인 적응을 효과적으로 수행하였다.
• 합성 및 실제 테스트 세트에서의 평균 교차율(mIoU)을 사용하여 성능을 평가하였다.
• 도메인 이격 분석 및 스타일 전이의 효과 검증을 위해 t-SNE 시각화를 활용하였다.

실험 결과

연구 질문

• RQ1 물리기반 합성 데이터 생성이 3D 프린팅 부품에 대한 세분화 분할 모델을 효과적으로 훈련시키는 데에 적합한가?
• RQ2 실재-합성 이미지 스타일 전이가 합성 및 실제 3D 프린팅 이미지 간 도메인 격차를 어느 정도 감소시키는가?
• RQ3 실제 레이블링이 불가능한 상황에서 스타일 전이를 사전 처리 단계로 활용할 경우, 세분화 정확도는 어떻게 향상되는가?
• RQ4 스타일 전이를 통한 도메인 적응이 실제 3D 프린팅 이미지의 mIoU 점수에 어떤 영향을 미치는가?
• RQ5 실제 데이터 레이블 없이도 합성 데이터로만 훈련된 모델이 스타일 전이 후 실제 이미지에서 만족스러운 성능을 달성할 수 있는가?

주요 결과

• 전체 3D 프린팅 부품에 대해 합성 테스트 데이터에서 높은 mIoU 94.90%를 기록하여 합성 데이터에 대한 강력한 일반화 능력을 보였다.
• 실제 3D 프린팅 이미지의 경우, 실재-합성 스타일 전이를 거친 이미지를 사용함으로써 mIoU가 61.10%에서 75.19%로 향상되었다.
• 실제 레이블이 없이도 스타일 전이를 도메인 적응의 사전 단계로 활용할 경우, 실재 데이터가 적은 환경에서 세분화 성능 향상에 크게 기여함을 입증하였다.
• 상단 층(73.33% mIoU)과 인발(78.93% mIoU)은 합성 데이터에서 뛰어난 세분화 성능를 보였지만, 셸링(55.31%)과 지지 구조(69.45%)는 더 어려운 과제로 나타났다.
• 시각적 분석을 통해 스타일 전이가 실선, 반사 등의 시각적 혼란을 줄여 세분화 일관성을 향상시켰음을 확인하였다.
• t-SNE 투영 결과는 스타일 전이가 도메인 이격을 효과적으로 감소시켜 실제 이미지 특징를 합성 분포에 더 가깝게 만든다는 것을 검증하였다.