[논문 리뷰] Explainable Artificial Intelligence Based Fault Diagnosis and Insight Harvesting for Steel Plates Manufacturing

Athar Kharal|arXiv (Cornell University)|2020. 08. 10.

Imbalanced Data Classification Techniques인용 수 10

한 줄 요약

이 논문은 강판 제조 공정에서 고장 진단을 위한 설명 가능 인공지능(XAI) 기반의 방법론을 제안한다. 이는 클래스 불균형을 해결하기 위해 SMOTE를 통합하고, 국소 모델의 해석 가능성을 높이기 위해 메도이드를 활용하며, Ceteris Paribus, 부분 의존도, 분해 프로파일 등 다양한 해석 도구와 연관 규칙 탐색 기반의 통찰을 통합한다. 결과적으로 얻어진 앙상블 분류기는 10겹 교차검증 정확도 94%를 기록하여 고장 진단 정확도를 크게 향상시키고 산업 현장의 엔지니어들에게 실질적인 통찰을 제공한다.

ABSTRACT

With the advent of Industry 4.0, Data Science and Explainable Artificial Intelligence (XAI) has received considerable intrest in recent literature. However, the entry threshold into XAI, in terms of computer coding and the requisite mathematical apparatus, is really high. For fault diagnosis of steel plates, this work reports on a methodology of incorporating XAI based insights into the Data Science process of development of high precision classifier. Using Synthetic Minority Oversampling Technique (SMOTE) and notion of medoids, insights from XAI tools viz. Ceteris Peribus profiles, Partial Dependence and Breakdown profiles have been harvested. Additionally, insights in the form of IF-THEN rules have also been extracted from an optimized Random Forest and Association Rule Mining. Incorporating all the insights into a single ensemble classifier, a 10 fold cross validated performance of 94% has been achieved. In sum total, this work makes three main contributions viz.: methodology based upon utilization of medoids and SMOTE, of gleaning insights and incorporating into model development process. Secondly the insights themselves are contribution, as they benefit the human experts of steel manufacturing industry, and thirdly a high precision fault diagnosis classifier has been developed.

연구 동기 및 목표

• XAI 기법을 활용하여 강판 제조 공정에서 고정밀도, 해석 가능한 고장 진단 시스템을 개발한다.
• Ceteris Paribus, 부분 의존도, 분해 프로파일 등의 XAI 도구와 최적화된 랜덤 포레스트, 연관 규칙 탐색 등의 규칙 기반 방법으로부터 유용한 통찰을 도출하고 통합한다.
• 강판 고장 데이터셋의 클래스 불균형 문제를 Synthetic Minority Oversampling Technique(SMOTE)를 통해 해결한다.
• 인간 전문가가 고려할 만한 통찰을 앙상블 분류기 설계에 통합함으로써 모델 성능과 해석 가능성을 향상시킨다.
• XAI 통찰이 체계적으로 재사용되어 예측 정확도와 도메인 특화 이해도를 동시에 향상시킬 수 있음을 입증한다.

제안 방법

• 다중 클래스 불균형 강판 고장 데이터셋의 균형을 맞추기 위해 SMOTE를 적용하여 소수 클래스 고장 유형의 표현을 향상시켰다.
• 모델 무관형 XAI 도구(예: Ceteris Paribus, 분해 프로파일)의 국소적 해석 가능성을 높이기 위해 메도이드를 중심 케이스로 활용하여 전역 모델 행동의 국소적 해석을 가능하게 하였다.
• 학습된 모델에서 Ceteris Paribus 프로파일, 부분 의존도, 분해 프로파일을 적용하여 전역 및 국소적 해석 가능 통찰을 도출하였다.
• 최적화된 랜덤 포레스트 모델과 데이터셋에 대한 연관 규칙 탐색(ARM)에서 IF-THEN 규칙를 추출하였다.
• 모든 추출된 규칙를 구조화된 데이터 프레임 형태로 표현하여 통합된 모델 개발 파이프라인에 통합할 수 있도록 하였다.
• XAI 통찰, 최적화된 랜덤 포레스트, ARM 규칙의 통찰을 융합하여 맞춤형 앙상블 분류기를 구축함으로써 일반화 능력과 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 어떻게 XAI 기법을 체계적으로 활용하여 산업 고장 진단에 실질적인 통찰을 도출할 수 있는가?
• RQ2 Ceteris Paribus, 부분 의존도, 분해 프로파일 등의 다양한 XAI 도구에서 도출된 통찰을 규칙 기반 모델과 융합할 경우 고장 분류 성능에 어느 정도 기여할 수 있는가?
• RQ3 고차원 산업 데이터셋에서 모델 무관형 XAI 방법의 해석 가능성과 강건성을 향상시키기 위해 메도이드를 원형 사례로 활용할 수 있는가?
• RQ4 XAI와 규칙 탐색의 통찰을 하나의 앙상블 분류기에 통합할 경우, 불균형한 강판 고장 데이터에서의 정확도와 일반화 능력은 어떻게 영향을 받는가?
• RQ5 제안된 방법론은 블랙박스 모델에 대한 의존도를 줄이면서도 산업 고장 진단에서 예측 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• 맞춤형 앙상블 분류기는 10겹 교차검증 정확도 94%를 기록하여 기준 모델 대비 7% 향상된 성능을 보였다.
• SMOTE의 적용으로 소수 고장 유형, 예를 들어 Bumps(6.03% 오차)와 K_Scratch(6.30% 오차)의 탐지 능력이 뚜렷이 향상되었다.
• XAI 도구, 특히 Ceteris Paribus와 분해 프로파일을 통한 통찰은 V1, V2, V3와 같은 변수가 Pastry와 Stains 고장에 비선형적으로 강한 영향을 미친다는 것을 드러내었다.
• 최적화된 랜덤 포레스트와 연관 규칙 탐색에서 유도된 IF-THEN 규칙의 통합은 모델의 투명성 향상과 복잡한 고장 패tern에 대한 성능 향상에 기여하였다.
• 혼동 행렬 분석 결과, 모델은 Stains에 대해 가장 우수한 성능(3.80% 오차)을 보였고, K_Scratch에 대해선 가장 낮은 성능(6.30% 오차)을 보였으며, 이는 고정도 고장 유형 처리에 대한 향상 여지를 시사한다.
• 이 방법론은 XAI 통찰이 해석 가능할 뿐 아니라 실질적인 조치로 이어질 수 있음을 성공적으로 입증하였으며, 엔지니어들이 근본 원인을 파악하고 생산 품질을 향상시킬 수 있도록 지원하였다.