[논문 리뷰] Vision-based inspection system employing computer vision & neural networks for detection of fractures in manufactured components.

Sarthak J. Shetty|arXiv (Cornell University)|2019. 01. 25.

Industrial Vision Systems and Defect Detection참고 문헌 9인용 수 12

한 줄 요약

이 논문은 제조된 기어의 표면 균열을 감지하기 위해 OpenCV를 사용한 에지 검출과 텐서플로우에서 재학습한 Inception V3 모델을 조합한 하이브리드 비전 기반 점검 시스템을 제시한다. 시스템은 400张의 이미지(정상 200장, 균열 200장)로 구성된 데이터셋을 사용하여 딥러닝 모델을 훈련시키며, 결함이 있는지 없는지의 구분에서 높은 정확도를 달성한다. 인간 작업자가 컴퓨터 비전 출력을 활용하여 모호한 예측를 검증한다.

ABSTRACT

We are proceeding towards the age of automation and robotic integration of our production lines [5]. Effective quality-control systems have to be put in place to maintain the quality of manufactured components. Among different quality-control systems, vision-based inspection systems have gained considerable amount of popularity [8] due to developments in computing power and image processing techniques. In this paper, we present a vision-based inspection system (VBI) as a quality-control system, which not only detects the presence of defects, such as in conventional VBIs, but also leverage developments in machine learning to predict the presence of surface fractures and wearing. We use OpenCV, an open source computer-vision framework, and Tensorflow, an open source machine-learning framework developed by Google Inc., to accomplish the tasks of detection and prediction of presence of surface defects such as fractures of manufactured gears.

연구 동기 및 목표

• 제조된 기어의 표면 균열을 감지하기 위한 자동화되고 실시간의 품질 관리 시스템을 개발하는 것.
• 기존의 이미지 처리 기법을 초월하여 컴퓨터 비전과 머신러닝을 통합하여 결함 감지 성능을 향상시키는 것.
• 딥러닝 모델이 제공하는 확률적 예측을 활용하여 인간 검사에 대한 의존도를 줄이는 것.
• 컴퓨터 비전 서브시스템을 통해 인간 작업자가 검토할 수 있도록 모델 예측을 검증하는 것.
• 작은 전문화된 데이터셋에서 에지 검출 필터와 전이학습을 조합하여 감지 정확도를 향상시키는 것.

제안 방법

• 시스템은 그레이스케일 이미지에 대해 Sobel X, Sobel Y, Laplacian, Sharpen의 네 가지 컨볼루션 필터로 구성된 필터 벙크를 적용하여 에지를 강조하고 잠재적 균열을 부각시킨다.
• 계산 부담을 줄이고 FPGAs와 같은 임베디드 시스템에서의 효율성을 높이기 위해 회색조 변환을 사용한다.
• 사전 훈련된 Inception V3 모델을 사용자 정의 데이터셋(기어 이미지 400장, 정상 200장, 균열 200장)에 대해 전이학습을 통해 최종 레이어를 재학습시켜 최적화한다.
• 데이터셋은 Google Images 웹 스크래퍼를 통해 수집되어 기어 결함의 다양한 시각적 예제를 확보하였다.
• 과적합을 방지하고 일반화 능력을 평가하기 위해 훈련, 검증, 테스트 세트를 각각 60%, 20%, 20% 비율로 분할하여 모델을 훈련시켰다.
• 예측은 확률적으로 수행되며, '고장난 기어'일 확률이 0.5를 초과하면 해당 부품은 기각 대상으로 표시된다.

실험 결과

연구 질문

• RQ1 기존의 방법과 비교해 볼 때, 전통적인 컴퓨터 비전과 딥러닝을 조합한 하이브리드 시스템이 제조된 기어의 균열 감지에 개선된 성능을 보일 수 있는가?
• RQ2 작은 사용자 정의 기어 이미지 데이터셋에서 Inception V3를 사용한 전이학습의 효과는 표면 균열 분류에 얼마나 높은가?
• RQ3 OpenCV 기반의 에지 검출이 잘못된 경고나 놓친 결함를 줄이기 위해 딥러닝 예측에 얼마나 잘 보완되는가?
• RQ4 컴퓨터 비전 출력을 통해 인간이 개입하는 검증 방식이 시스템 신뢰도에 어떻게 기여하는가?
• RQ5 데이터셋 크기가 모델의 예측 정확도와 일반화 능력에 미치는 영향은 어떠한가?

주요 결과

• 재학습된 Inception V3 모델은 높은 훈련 및 검증 정확도를 달성하였으며, 교차 엔트로피가 시간이 지남에 따라 감소함으로써 효과적인 학습이 이루어졌음을 나타낸다.
• 시스템은 대부분의 기어 이미지를 정확히 분류하였으며, 표 II에 나타나 있듯이 테스트 세트에서 몇 가지 오분류 사례만 관찰되었다.
• 일부 사례(일련번호 2)에서는 정상 기어가 고장난 기어로 잘못 분류되어 데이터셋 크기의 한계로 인한 제한점을 드러냈다.
• 컨볼루션 필터를 사용한 그레이스케일 이미지 처리 방식이 처리 속도 향상과 계산 부담 감소에 기여하였다.
• 컴퓨터 비전 출력을 통한 OpenCV 기반 시각 피드백 통합으로 인간 작업자가 모호한 예측를 검증할 수 있었으며, 이는 시스템 신뢰도 향상에 기여하였다.
• 모델 성능은 데이터셋 크기에 민감하게 영향을 받았으며, 오분류 오류를 줄이기 위해 데이터셋을 확장할 것을 제안하였다.