[논문 리뷰] On The Reliability Of Machine Learning Applications In Manufacturing Environments

Nicolas Jourdan, Sagar Sen외 4명|arXiv (Cornell University)|2021. 12. 13.

Air Quality Monitoring and Forecasting인용 수 8

한 줄 요약

이 논문은 산업 제조 환경에서 기계학습(ML) 모델의 장기적 신뢰성을 조사하며, 개념 및 센서 드리프트가 시간이 지남에 따라 모델 정확도와 신뢰도 캘리브레이션을 심각하게 악화시킨다는 것을 입증한다. 앙상블 방법인 랜덤 포레스트와 같은 모델은 드리프트 하에서도 뛰어난 신뢰도 캘리브레이션을 유지함으로써 지속적 학습 시스템에서 온라인 성능 모니터링 및 드리프트 탐지에 유망한 가능성을 보여준다.

ABSTRACT

The increasing deployment of advanced digital technologies such as Internet of Things (IoT) devices and Cyber-Physical Systems (CPS) in industrial environments is enabling the productive use of machine learning (ML) algorithms in the manufacturing domain. As ML applications transcend from research to productive use in real-world industrial environments, the question of reliability arises. Since the majority of ML models are trained and evaluated on static datasets, continuous online monitoring of their performance is required to build reliable systems. Furthermore, concept and sensor drift can lead to degrading accuracy of the algorithm over time, thus compromising safety, acceptance and economics if undetected and not properly addressed. In this work, we exemplarily highlight the severity of the issue on a publicly available industrial dataset which was recorded over the course of 36 months and explain possible sources of drift. We assess the robustness of ML algorithms commonly used in manufacturing and show, that the accuracy strongly declines with increasing drift for all tested algorithms. We further investigate how uncertainty estimation may be leveraged for online performance estimation as well as drift detection as a first step towards continually learning applications. The results indicate, that ensemble algorithms like random forests show the least decay of confidence calibration under drift.

연구 동기 및 목표

• 실제 산업 환경에서 개념 및 센서 드리프트 영향을 받는 기계학습 모델의 장기적 신뢰성을 평가하기 위해.
• 시간에 따라 변화하는 데이터 드리프트 하에서 일반적으로 사용되는 기계학습 알고리즘(SVM, 랜덤 포레스트, 신경망 등)의 강건성을 평가하기 위해.
• 불확실성 추정 기법이 제조 분야 응용에서 온라인 성능 평가 및 드리프트 탐지에 어떻게 활용될 수 있는지 조사하기 위해.
• 산업용 CPS 및 IoT 시스템에서 분포 변화에 대한 저항력을 높이는 모델 특성들을 규명하기 위해.
• 실제 제조 환경에서 지속적으로 학습하는 기계학습 시스템을 구축하는 데 실용적인 지침을 제공하기 위해.

제안 방법

• 36개월에 걸쳐 제조 환경의 가스 센서 어레이에서 수집한 실제 산업 데이터셋을 활용하여 장기적 구현을 시뮬레이션하였다.
• 정적 학습 데이터에서 여러 기계학습 알고리즘(SVM, 랜덤 포레스트, 신경망 등)을 훈련하고, 점차로 드리프트된 테스트 세트에서 성능을 평가하였다.
• 신뢰도 및 캘리브레이션 강건성 평가를 위해 모델 정확도, 신뢰도 점수, 기대 캘리브레이션 오차(ECE)를 측정하였다.
• 신뢰도 캘리브레이션의 주요 지표로 ECE를 사용하였으며, 실무 적용에서의 해석 가능성과 단순성 때문에 선택되었다.
• 통계적 강건성을 확보하기 위해 서로 다른 랜덤 시드를 사용해 실험을 10회 반복하였고, 평균값과 표준편차를 보고하였다.
• 지속적 학습 파이프라인에서 드리프트 탐지 및 재학습의 잠재적 트리거로 신뢰도 점수를 활용하였으며, 특히 명시적 온라인 모니터링 기능이 없는 시스템에서 유용하다.

실험 결과

연구 질문

• RQ1 제조 분야에서 일반적으로 사용되는 기계학습 알고리즘은 장기적인 개념 및 센서 드리프트 하에서 어떻게 성능을 발휘하는가?
• RQ2 실제 데이터 드리프트 하에서 모델의 신뢰도 캘리브레이션은 어느 정도 악화되는가? 그리고 성능 저하의 지표로 사용될 수 있는가?
• RQ3 어느 기계학습 알고리즘이 드리프트 하에서도 가장 강건한 신뢰도 캘리브레이션을 보이며, 그 이유는 무엇인가?
• RQ4 ECE와 같은 불확실성 추정 기법은 산업용 기계학습 시스템에서 온라인 성능 모니터링 및 드리프트 탐지에 효과적으로 활용될 수 있는가?
• RQ5 동적 데이터 분포를 가진 실제 제조 환경에서 지속적 학습 시스템을 구축하는 데 있어 실용적인 함의는 무엇인가?

주요 결과

• 모든 테스트된 기계학습 알고리즘(SVM, 랜덤 포레스트, 신경망)이 36개월 동안 드리프트가 증가함에 따라 심각한 성능 저하를 보였다.
• 드리프트가 진행될수록 모델의 신뢰도 점수가 크게 감소하였으며, 특히 랜덤 포레스트에서 두드러졌다. 이는 신뢰도 점수가 성능 저하의 조기 지표로 사용될 수 있음을 시사한다.
• 모든 모델에서 드리프트된 데이터에서 기대 캘리브레이션 오차(ECE)가 유의미하게 증가하였으며, 이는 내부 분포 데이터에서의 캘리브레이션 성능이 외부 분포 데이터에서는 신뢰할 수 없다는 것을 보여준다.
• 랜덤 포레스트는 드리프트 하에서도 가장 강건한 신뢰도 캘리브레이션을 보였으며, 다른 모델 대비 ECE 증가 폭이 가장 작아 동적 환경에서의 신뢰성 우수성을 시사한다.
• 반복 실험에서 ECE의 표준편차가 드리프트된 데이터에서 증가하여, 드리프트 영향이 일관되지 않고 특정 드리프트 패턴과 강도에 따라 달라진다는 것을 보여주었다.
• 결과는 특히 앙상블 방법인 랜덤 포레스트의 신뢰도 점수를 활용해 지속적 학습 파이프라인에서 온라인 모니터링, 데이터 수집, 재학습을 트리거로 삼는 것이 바람직하다는 것을 뒷받침한다.