[논문 리뷰] Active Learning for Automated Visual Inspection of Manufactured Products

Elena Trajkova, Jože M. Rožanec외 3명|arXiv (Cornell University)|2021. 09. 06.

Machine Learning and Algorithms참고 문헌 10인용 수 4

한 줄 요약

이 논문은 제조 분야의 자동 시각 검사에 적합한 활성 학습 프레임워크를 제안하며, 실생활 면도기 결함 이미지 데이터셋을 바탕으로 풀 기반, 스트림 기반, 질의-위원회 전략을 다섯 가지 기계 학습 모델과 비교한다. MLP 모델이 가장 높은 AUC-ROC(0.9840)를 기록했고, 질의-위원회 전략이 다른 활성 학습 방법보다 뛰어나 성능을 유지하면서 라벨링 노력을 줄였다.

ABSTRACT

Quality control is a key activity performed by manufacturing enterprises to ensure products meet quality standards and avoid potential damage to the brand's reputation. The decreased cost of sensors and connectivity enabled an increasing digitalization of manufacturing. In addition, artificial intelligence enables higher degrees of automation, reducing overall costs and time required for defect inspection. In this research, we compare three active learning approaches and five machine learning algorithms applied to visual defect inspection with real-world data provided by Philips Consumer Lifestyle BV. Our results show that active learning reduces the data labeling effort without detriment to the models' performance.

연구 동기 및 목표

• 산업적 시각 결함 탐지에서 라벨링 노력 감소를 위한 활성 학습 전략 평가
• 실생활 다중 클래스 결함 분류 작업에서 다섯 가지 기계 학습 모델(Gaussian Naïve Bayes, CART, Linear SVM, MLP, kNN)의 성능 비교
• 불균형 산업 데이터셋에서 활성 학습이 적은 수의 라벨 예제로도 모델 성능 향상에 기여하는지 평가
• 활성 학습 라운드 동안 시간이 지남에 따라 성능 향상이 통계적으로 유의미한지 평가
• 자동 시각 검사에 가장 효과적인 활성 학습 전략과 기계 학습 모델 조합 식별

제안 방법

• 풀 기반 샘플링, 스트림 기반 샘플링(불확실성 기반 선택) 및 질의-위원회 전략을 포함한 세 가지 활성 학습 전략 적용
• 실생활 1,000장의 면도기 이미지 데이터셋(좋음, 이중 인쇄, 인쇄 중단 3개 결함 클래스 포함)을 기반으로 다섯 가지 기계 학습 모델(Gaussian Naïve Bayes, CART, Linear SVM, MLP, k-Nearest Neighbors) 훈련
• 모델 성능 평가를 위해 10겹 교차검증을 사용하며, 예측 점수의 임계값 0.5에서 AUC-ROC 측정
• 풀 기반 및 스트림 기반 설정에서는 불확실성 기반의 할당 함수를 사용해 정보량이 가장 많은 샘플 선택, 질의-위원회 설정에서는 위원회 간 이견을 기반으로 선택
• 활성 학습 시나리오 간 성능 차이 및 시간 경과에 따른 모델 성능 비교를 위해 윌코크슨 부호 순위 검정 수행
• 활성 학습 라운드 동안 학습 진행 상황 평가를 위해 첫 번째 및 마지막 사분위수 테스트 폴드 간 성능 향상 분석

실험 결과

연구 질문

• RQ1 풀 기반, 스트림 기반, 질의-위원회 전략 중에서 라벨링 노력 최소화로 결함 탐지 성능을 가장 높이는 전략은 무엇인가?
• RQ2 다양한 기계 학습 모델(Naïve Bayes, CART, SVM, MLP, kNN)이 실생활 산업 결함 탐지 환경에서 세 가지 활성 학습 전략에서 어떻게 성능을 내는가?
• RQ3 특히 라벨링의 초기 단계와 후기 단계 간에 활성 학습 주기 동안 성능 향상이 통계적으로 유의미한가?
• RQ4 질의-위원회 전략이 다양한 모델과 데이터 분할에 걸쳐 다른 활성 학습 방법보다 일관되게 뛰어난 성능을 보이는가?
• RQ5 불균형 실생활 제조 데이터셋에서 활성 학습이 라벨링 비용을 효과적으로 줄이면서도 높은 AUC-ROC 성능을 유지할 수 있는가?

주요 결과

• MLP 모델이 모든 활성 학습 시나리오에서 가장 높은 AUC-ROC(0.9840) 기록하며 대부분의 교차검증 폴드에서 다른 모든 모델을 앞서갔다.
• 질의-위원회 활성 학습 전략은 두 번째로 높은 성능을 기록했으며, AUC-ROC 값이 항상 0.97 초과를 유지했고, MLP를 제외한 모든 모델보다 통계적으로 유의미한 향상을 보였다.
• 풀 기반과 스트림 기반 활성 학습 전략 간 유의미한 성능 차이는 없었으며, 대부분의 비교에서 p-값 > 0.05로 나타났다.
• SVM 모델은 전체적으로 세 번째로 높은 순위를 차지했으며, AUC-ROC 값은 약 0.972였고, 활성 학습 전략 간 유의미한 차이가 없었다(p > 0.05).
• CART 모델은 가장 열악한 성능을 보였으며, AUC-ROC 값은 0.78 이하였고, 어떤 활성 학습 시나리오에서도 시간이 지남에 따라 성능 향상이 없었다.
• 어느 활성 학습 전략에서도 첫 번째 사분위수와 마지막 사분위수 테스트 폴드 간 유의미한 성능 향상이 관찰되지 않아, 라벨링 라운드 동안 학습 진행 상황이 제한적이었다.