[논문 리뷰] VISION Datasets: A Benchmark for Vision-based InduStrial InspectiON

Haoping Bai, Shancong Mou외 7명|arXiv (Cornell University)|2023. 06. 13.

Industrial Vision Systems and Defect Detection인용 수 7

한 줄 요약

VISION Datasets는 18,000장의 이미지와 44종의 결함 유형을 포함하는 14개의 산업 검사 데이터셋으로 구성된 벤치마크를 제공하며, 모든 분할에서 개체 세분화 마스크를 제공하여 비지도, 약한 지도, 준지도, 지도 학습 기반의 결함 검출 방법의 평가를 가능하게 합니다. 이 데이터셋은 종합적인 벤치마크를 지원하고, 시각 기반 산업 검사 시스템의 발전을 위한 두 개의 지속 중인 챌린지 대회를 제공합니다.

ABSTRACT

Despite progress in vision-based inspection algorithms, real-world industrial challenges -- specifically in data availability, quality, and complex production requirements -- often remain under-addressed. We introduce the VISION Datasets, a diverse collection of 14 industrial inspection datasets, uniquely poised to meet these challenges. Unlike previous datasets, VISION brings versatility to defect detection, offering annotation masks across all splits and catering to various detection methodologies. Our datasets also feature instance-segmentation annotation, enabling precise defect identification. With a total of 18k images encompassing 44 defect types, VISION strives to mirror a wide range of real-world production scenarios. By supporting two ongoing challenge competitions on the VISION Datasets, we hope to foster further advancements in vision-based industrial inspection.

연구 동기 및 목표

• 학술 연구와 실제 산업 분야의 시각 기반 검사 간 격차를 메우기 위해 현실적이고 다양한, 확장 가능한 벤치마크를 제공함으로써.
• 기존 데이터셋에서 개체 수준의 세분화 및 다중 결함 시나리오를 포함한 종합적인 애너테이션 부족 등의 한계를 극복함으로써.
• 모든 데이터 분할에서 마스크를 제공하여 비지도, 약한 지도, 준지도, 지도 학습 기반의 광범위한 결함 검출 방법론 지원을 통해.
• 학계와 산업계의 연구자와 전문가를 참여시켜 혁신을 이끌고, 두 개의 챌린지 대회를 통해 연구 협업을 촉진함으로써.
• 소수의 샘플 학습, 전이 학습, 데이터 중심 기법 등의 연구를 가능하게 하여 모델의 일반화 능력과 데이터 효율성을 향상시키기 위해.

제안 방법

• 다양한 제조 공정, 재질, 제품을 포함하는 14개의 산업 검사 데이터셋을 수집하고 정제함.
• 학습, 검증, 테스트 분할의 모든 이미지에 대해 개체 세분화 마스크를 제공하여 정밀한 결함 위치 특정 및 개별 결함 식별을 가능하게 함.
• 동일한 유형의 다중 결함을 한 장의 이미지 내에서 구분함으로써 애너테이션의 일관성과 세부 정보를 확보함.
• 자기지도 학습, 약한 지도 학습, 준지도 학습, 완전 지도 학습을 포함한 다양한 학습 철학 평가를 지원하도록 데이터셋을 설계함.
• VISION Datasets 기반으로 두 개의 챌린지 대회를 개최하여 혁신을 이끌고 실제 산업 조건에서 알고리즘 성능을 벤치마크함.
• 공개적으로 Hugging Face를 통해 데이터셋을 배포하여 광범위한 접근성과 재현 가능성을 확보함.

Figure 1: Overview of the VISION Datasets.

실험 결과

연구 질문

• RQ1 VISION Datasets에서 훈련된 시각 기반 결함 검출 모델은 재질, 공정, 결함 유형이 다양한 산업 환경에서 일반화 가능한가?
• RQ2 대규모 다중 결함, 개체 수준 세분화가 적용된 산업 벤치마크에 비지도 및 약한 지도 학습 방법이 얼마나 효과적인가?
• RQ3 정의된 세분화가 의미 세분화보다 겹치는 또는 다중 결함을 검출하는 데에 얼마나 성능 향상에 기여하는가?
• RQ4 제한된 애너테이션을 가진 실제 산업 검사 데이터에 대해 데이터 생성 및 데이터 중심 기법(예: 활성 학습, 합성 데이터)의 성능은 어떠한가?
• RQ5 전이 학습 및 도메인 적응 기법이 데이터셋에 완전히 포함되지 않은 새로운 결함 유형이나 산업 조건에 대해 모델의 일반화 능력을 향상시킬 수 있는가?

주요 결과

• VISION Datasets는 현재까지 가장 크고 다양한 산업 검사 벤치마크로, 14개 데이터셋에서 총 18,422장의 이미지와 44종의 고유한 결함 유형을 포함함.
• 모든 데이터 분할에서 개체 세분화 마스크를 포함함으로써, 이전의 벤치마크에서 부재했던 지도 및 약한 지도 학습 기반의 결함 검출 모델에 대한 강력한 평가가 가능해졌음.
• 비지도, 약한 지도, 준지도, 지도 학습을 포함한 모든 주요 학습 철학을 지원하여 알고리즘 연구에 있어 독보적인 유연성을 제공함.
• 이미 두 개의 챌린지 대회를 통해 데이터셋의 실용적 유용성이 입증되었으며, 학계와 산업계 간 협업과 혁신을 이끌고 있음.
• 대회 참가자들은 데이터셋 간 양방향 전이 효과를 관찰하여, VISION Datasets에서 훈련된 모델이 새로운 산업 검사 시나리오로 일반화될 수 있음을 시사함.
• 한정된 데이터와 복잡한 애너테이션 문제를 해결하기 위해 대규모로 고품질의 세밀한 애너테이션을 제공함으로써 핵심 산업 과제를 해결함.