[논문 리뷰] Explainable AI for tool wear prediction in turning

Saleh Valizadeh Sotubadi, Rui Liu외 1명|arXiv (Cornell University)|2023. 08. 17.

Advanced machining processes and optimization인용 수 6

한 줄 요약

이 연구는 전면 turning 공정에서의 cutting tool 마모 예측을 해석 가능한 방식으로 이해할 수 있도록 Random Forest 분류기와 Shapley 값 기반의 설명 가능한 인공지능(XAI) 프레임워크를 제안한다. 가속도, 음향, 온도,主축 속도 등의 데이터를 분석함으로써, 도구 상태를 분류하는 데 있어 온도가 가장 영향력 있는 특징임을 규명하였으며, 92.31%의 정확도를 달성하여 운영자가 기계학습 기반 의사결정 과정을 이해할 수 있도록 한다.

ABSTRACT

This research aims develop an Explainable Artificial Intelligence (XAI) framework to facilitate human-understandable solutions for tool wear prediction during turning. A random forest algorithm was used as the supervised Machine Learning (ML) classifier for training and binary classification using acceleration, acoustics, temperature, and spindle speed during the orthogonal tube turning process as input features. The ML classifier was used to predict the condition of the tool after the cutting process, which was determined in a binary class form indicating if the cutting tool was available or failed. After the training process, the Shapley criterion was used to explain the predictions of the trained ML classifier. Specifically, the significance of each input feature in the decision-making and classification was identified to explain the reasoning of the ML classifier predictions. After implementing the Shapley criterion on all testing datasets, the tool temperature was identified as the most significant feature in determining the classification of available versus failed cutting tools. Hence, this research demonstrates capability of XAI to provide machining operators the ability to diagnose and understand complex ML classifiers in prediction of tool wear.

연구 동기 및 목표

• turning 공정에서 도구 마모 예측에 사용되는 기계학습 모델의 해석 가능성 부족 문제를 해결하기 위해.
• 도구 마모 분류에서 기계학습 모델의 의사결정 과정을 명확히 하는 설명 가능한 인공지능(XAI) 프레임워크를 개발하기 위해.
• 제조 현장의 운영자와 엔지니어가 도구 마모 예측에 가장 영향을 미치는 입력 특징을 이해할 수 있도록 하기 위해.
• 투명하고 인간이 이해할 수 있는 설명을 제공함으로써 기계학습 모델의 신뢰도와 활용 가능성을 향상시키기 위해.
• 도구 마모 분류에 가장 큰 영향을 미치는 공정 특징을 규명하여 공정 최적화를 지원하기 위해.

제안 방법

• 실시간 센서 데이터를 활용하여 전면 turning 실험 중 수집된 가속도, 음향, 온도, 주축 속도 센서 데이터를 기반으로 이진 분류(마모됨 vs. 마모되지 않음)를 수행하기 위해 감독 학습 기반 Random Forest 분류기(RFC)를 적용한다.
• 1018 스틸의 정면 turning 공정 중 수집된 전처리된 데이터를 기반으로 RFC 모델을 학습시킨다.
• 게임 이론의 Shapley 값 방법을 사용하여 각 입력 특징이 개별 예측에 기여하는 정도를 설명한다.
• Shapley 값을 활용해 특징 중요도 순위를 산정하고, 개별 예측 수준에서 모델의 의사결정을 해석한다.
• 정확도(92.31%), Matthews 상관계수(MCC), ROC-AUC와 같은 표준 평가 지표를 사용하여 모델 성능을 평가한다.
• SHAP 힘 그래프를 사용하여 모델 설명을 시각화하고, 특징이 예측에 미치는 영향을 설명하며, 잘못된 예측(가짜 양성 및 가짜 음성)의 경우에도 분석한다.

실험 결과

연구 질문

• RQ1 Random Forest 모델이 전면 turning 공정에서 도구 마모 상태를 예측할 때 가장 크게 기여하는 입력 특징는 무엇인가?
• RQ2 Shapley 값 기반 설명 방법은 도구 마모 분류를 위한 기계학습 모델의 의사결정을 얼마나 효과적으로 해석할 수 있는가?
• RQ3 XAI 프레임워크는 기계학습 모델이 내린 잘못된 예측의 이유를 식별하고 설명할 수 있는가?
• RQ4 다른 특징들과 비교할 때, 온도는 모델의 도구 상태 분류에 얼마나 큰 영향을 미치는가?
• RQ5 XAI 프레임워크는 공정 엔지니어가 해석 가능한 인사이트를 바탕으로 도구 마모를 진단하고 공정 파라미터를 조정하는 데 기여할 수 있는가?

주요 결과

• Random Forest 분류기는 도구가 마모되었는지 여부를 구분하는 데 테스트 정확도 92.31%를 달성하였다.
• Shapley 값 분석 결과, 모델의 분류 결정에 가장 큰 영향을 미친 입력 특징은 도구 온도로 규명되었다.
• 잘못된 예측의 경우에도 Shapley 값은 항상 모델 출력에 가장 큰 영향을 미친 요소로 온도를 일관되게 강조하였다.
• XAI 프레임워크는 개별 예측 수준에서의 설명을 성공적으로 제공하여 운영자가 모델 의사결정을 이해하고 특징 기여도를 평가할 수 있도록 하였다.
• 가짜 양성 및 가짜 음성 사례는 SHAP 힘 그래프를 통해 분석되었으며, 이는 온도가 오분류에 가장 큰 영향을 미쳤음을 보여주었다.
• 본 연구는 XAI가 기계학습 기반 도구 마모 예측의 투명성과 신뢰도를 향상시켜 제조 현장에서 실시간 의사결정 지원에 기여할 수 있음을 입증하였다.