[논문 리뷰] Synthetic training data generation for deep learning based quality inspection

Pierre Gutierrez, Maria Luschkova외 4명|arXiv (Cornell University)|2021. 04. 07.

Industrial Vision Systems and Defect Detection인용 수 26

한 줄 요약

이 논문은 3D 모델링, 텍스처 스캐닝, 도메인 랜덤라이제이션을 활용하여 결함이 있는 금속 부품과 건강한 부품의 고품질, 사진처럼 사실적인 합성 이미지를 생성하는 일반적인 시뮬레이션 파이프라인을 제안한다. 시뮬레이션 데이터로만 훈련된 딥러닝 모델이 실제 테스트 데이터에서 mAP 0.54를 달성하는 것으로 입증되었으며, 시뮬레이션 데이터와 실제 데이터를 조합하면 성능이 mAP 0.75로 향상되어 실제 데이터만으로 훈련한 경우를 능가한다.

ABSTRACT

Deep learning is now the gold standard in computer vision-based quality inspection systems. In order to detect defects, supervised learning is often utilized, but necessitates a large amount of annotated images, which can be costly: collecting, cleaning, and annotating the data is tedious and limits the speed at which a system can be deployed as everything the system must detect needs to be observed first. This can impede the inspection of rare defects, since very few samples can be collected by the manufacturer. In this work, we focus on simulations to solve this issue. We first present a generic simulation pipeline to render images of defective or healthy (non defective) parts. As metallic parts can be highly textured with small defects like holes, we design a texture scanning and generation method. We assess the quality of the generated images by training deep learning networks and by testing them on real data from a manufacturer. We demonstrate that we can achieve encouraging results on real defect detection using purely simulated data. Additionally, we are able to improve global performances by concatenating simulated and real data, showing that simulations can complement real images to boost performances. Lastly, using domain adaptation techniques helps improving slightly our final results.

연구 동기 및 목표

• 희귀 결함에 대해 특히 실제 레이블이 부여된 결함 데이터의 부족 문제를 해결하기 위해.
• 딥러닝을 위한 실제 훈련 데이터 수집 및 레이블 부여의 높은 비용과 노력 문제를 해결하기 위해.
• 다양하고 사진처럼 사실적인 합성 이미지를 생성할 수 있는 확장 가능하고 일반적인 시뮬레이션 파이프라인을 개발하기 위해.
• 시뮬레이션 데이터만으로 또는 실제 데이터와 조합하여 사용했을 때 산업 수준의 성능을 달성할 수 있는지 평가하기 위해.
• 품질 검사 분야에서 시뮬레이션에서 실제 환경으로의 도메인 갭을 줄이기 위해 도메인 어댑테이션 기법의 효과를 평가하기 위해.

제안 방법

• 실제 이미지에서 포토그램메트리 기법을 사용해 물리적 부품(예: 폭스바겐 기어포크)의 3D 모델을 재구성한다.
• 부품 표면의 고해상도, 세밀한 텍스처 맵을 캡처하기 위해 광학 스테레오 기법을 적용한다.
• 형상, 크기, 위치의 제어 가능한 변형을 가진 실재감 있는 결함(예: 구멍, 균열)을 생성하기 위해 파라미터 기반 결함 모델링을 구현한다.
• 랜덤라이제이션된 조명, 카메라 각도, 배경 조건을 사용해 3D 렲팅 엔진을 통해 합성 이미지를 렌더링한다.
• 시뮬레이션 및 실제 데이터 분포 간의 특징을 정렬하기 위해 DANN, 워샤프스탄 DANN, CORAL, ASS와 같은 도메인 어댑테이션 기법을 적용한다.
• mAP 및 정밀도/재현율을 평가 지표로 사용해 시뮬레이션 및 실제 데이터의 다양한 조합으로 YOLO 기반 객체 검출 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 시뮬레이션 데이터로만 훈련된 딥러닝 모델이 실제 세계의 결함 검출에서 만족스러운 성능을 달성할 수 있는가?
• RQ2 시뮬레이션된 결함 데이터셋에 실제 건강한 이미지를 추가하면 모델의 일반화 능력이 향상되는가, 아니면 도메인 이탈과 과적합이 발생하는가?
• RQ3 시뮬레이션 및 실제 훈련 데이터를 조합하면 실제 데이터만으로 훈련한 경우보다 산업 결함 검출에서 더 높은 성능을 내는가?
• RQ4 도메인 어댑테이션 기법이 시뮬레이션 데이터로 훈련된 모델의 일반화 능력을 실제 데이터 테스트에서 얼마나 향상시키는가?
• RQ5 제안된 시뮬레이션 파이프라인이 다양한 부품과 결함 유형에 걸쳐 확장 가능하고 재사용 가능한 산업 품질 검사 프레임워크로 기능할 수 있는가?

주요 결과

• 시뮬레이션 데이터로만 훈련된 모델이 실제 테스트 세트에서 평균 평균 정확도(mAP) 0.54를 달성하여, 합성 데이터만으로도 의미 있는 결함 검출이 가능하다는 것을 입증했다.
• 시뮬레이션 및 실제 데이터를 조합한 훈련으로 mAP가 0.75로 향상되었으며, 이는 실제 데이터만으로 훈련한 모델가 0.72 mAP를 기록한 것보다 뛰어난 성능을 보였다.
• 시뮬레이션된 결함 데이터셋에 실제 건강한 이미지를 추가한 결과 심각한 과적합이 발생했으며, mAP는 0.38로 하락하고 재현율은 0.10으로 떨어져 분포 불일치로 인한 도메인 혼동이 발생했다.
• 검토된 도메인 어댑테이션 기법 중에서 오직 감독 기반 도메인 어댑테이션(AS) 방법만이 약간의 향상을 보였으며, 실제+시뮬레이션 설정에서 mAP를 0.01 포인트 향상시켰다.
• 도메인 어댑테이션의 성과가 제한적이므로, 시뮬레이션 파이프라인의 사진처럼 사실적인 표현력과 도메인 랜덤라이제이션 향상이 더 복잡한 어댑테이션 방법보다 효과적일 수 있다.
• 결과는 시뮬레이션 기반 데이터 생성이 희귀 결함 유형에 특히 유용하고 보완적인 접근법임을 확인시켰다.