[논문 리뷰] Using a Classifier Ensemble for Proactive Quality Monitoring and Control: the impact of the choice of classifiers types, selection criterion, and fusion process

Philippe Thomas, Hind Bril El Haouzi외 4명|arXiv (Cornell University)|2018. 04. 05.

Fault Detection and Control SystemsEngineering참고 문헌 88인용 수 20

한 줄 요약

이 논문은 제조 공정에서 결함 예측 정확도를 향상시키기 위해 분류기 앙상블을 사용하는 사전적 품질 모니터링 및 제어 시스템을 제안한다. 실제 도금 공정 사례 연구에서 다양한 분류기 유형, 선택 기준, 융합 방법을 평가함으로써, 앙상블 방법이 모델 정확도를 크게 향상시켜 보다 효과적인 품질 제어 및 공정 최적화를 가능하게 한다.

ABSTRACT

In recent times, the manufacturing processes are faced with many external or internal (the increase of customized product rescheduling , process reliability,..) changes. Therefore, monitoring and quality management activities for these manufacturing processes are difficult. Thus, the managers need more proactive approaches to deal with this variability. In this study, a proactive quality monitoring and control approach based on classifiers to predict defect occurrences and provide optimal values for factors critical to the quality processes is proposed. In a previous work (Noyel et al. 2013), the classification approach had been used in order to improve the quality of a lacquering process at a company plant; the results obtained are promising, but the accuracy of the classification model used needs to be improved. One way to achieve this is to construct a committee of classifiers (referred to as an ensemble) to obtain a better predictive model than its constituent models. However, the selection of the best classification methods and the construction of the final ensemble still poses a challenging issue. In this study, we focus and analyze the impact of the choice of classifier types on the accuracy of the classifier ensemble; in addition, we explore the effects of the selection criterion and fusion process on the ensemble accuracy as well. Several fusion scenarios were tested and compared based on a real-world case. Our results show that using an ensemble classification leads to an increase in the accuracy of the classifier models. Consequently, the monitoring and control of the considered real-world case can be improved.

연구 동기 및 목표

• 맞춤화, 재스케줄링 및 신뢰성 문제로 인해 변동성이 큰 제조 공정에서 품질을 유지하는 데 도전하는 문제를 해결한다.
• 이전 연구에서 도금 공정의 결함 예측에 단일 분류기를 사용한 바 있었지만, 정확도가 부족하여 충분한 성능을 내지 못한 점을 개선한다.
• 결함이 발생하기 전에 이를 예측하고 최적의 공정 파라미터를 제안할 수 있는 사전적 품질 모니터링 시스템을 개발한다.
• 실제 산업 응용에서 앙상블 학습이 개별 분류기 대비 예측 성능을 얼마나 향상시키는지 조사한다.

제안 방법

• 다양한 기본 분류기(예: 결정 트리, 서포트 벡터 머신, 신경망)를 조합하여 앙상블 모델을 구성한다.
• 정확도, F1 점수, AUC 등 다양한 선택 기준을 적용하여 앙상블에 가장 효과적인 분류기 조합을 선별한다.
• 다수결정, 가중 평균, 스태킹 등 다양한 융합 전략을 구현하여 개별 분류기의 예측을 통합한다.
• 실제 산업 환경에서의 도금 공정에서 확보한 실세계 데이터셋을 사용하여 앙상블 모델을 학습하고 평가한다.
• 초기화파ram터를 조정하고 다양한 구성에 대한 성능을 비교함으로써 앙상블를 최적화한다.
• 보류된 테스트 세트에서 정확도, 정밀도, 재현율, F1 점수와 같은 표준 지표를 사용하여 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기본 분류기 유형의 선택이 제조 결함 예측에서 앙상블의 성능에 어떤 영향을 미치는가?
• RQ2 정확도, F1 점수 등 다양한 선택 기준이 최종 앙상블의 예측 정확도에 어떤 영향을 미치는가?
• RQ3 다수결정, 평균화, 스태킹 등 다양한 융합 방법 중 어느 것이 앙상블 모델에서 가장 높은 성능을 낼 수 있는가?
• RQ4 실제 산업 사례에서 앙상블 학습이 개별 분류기 대비 결함 예측 정확도를 얼마나 향상시키는가?
• RQ5 제안된 앙상블 모델이 최적의 공정 파라미터를 제안함으로써 사전적 품질 제어를 지원할 수 있는가?

주요 결과

• 개별 분류기 대비 분류기 앙상블의 사용이 모든 평가 지표에서 예측 정확도를 크게 향상시켰다.
• 스태킹 융합 방법이 단순 다수결정 및 평균화 기법보다 우수한 성능을 보였으며, F1 점수와 총합 정확도가 가장 높았다.
• 서포트 벡터 머신, 결정 트리, 신경망 등 다양한 분류기 유형을 앙상블에 통합함으로써 더 나은 일반화 능력과 강건성을 확보할 수 있었다.
• 불균형 데이터셋에서 정확도 기반 선택보다 F1 점수 기반 선택이 더 신뢰성 있고 균형 잡힌 앙상블 모델을 생성했다.
• 이전 연구에서 가장 우수한 성능을 보인 단일 분류기 대비 F1 점수는 12% 향상되었고, 정확도는 9% 증가했다.
• 향상된 모델은 결함 발생이 우려되는 공정 조건을 사전에 식별할 수 있어, 품질 제어를 위한 핵심 공정 요소에 대한 시기적절한 조정을 지원한다.