[논문 리뷰] Attention Mechanism for Multivariate Time Series Recurrent Model Interpretability Applied to the Ironmaking Industry

Cédric Schockaert, Reinhard Leperlier외 1명|arXiv (Cornell University)|2020. 07. 15.

Explainable Artificial Intelligence (XAI)참고 문헌 17인용 수 6

한 줄 요약

이 논문은 빌런지 철강 고로의 다변량 시계열 예측을 위한 해석 가능한 모델로 주의 메커니즘과 가속화된 역전파를 활용한 주의 강화 LSTM 모델을 제안한다. 이는 기존 RNN보다 더 높은 예측 정확도와 복잡한 공정 관계의 의미 있는 해석 가능성을 달성한다.

ABSTRACT

Data-driven model interpretability is a requirement to gain the acceptance of process engineers to rely on the prediction of a data-driven model to regulate industrial processes in the ironmaking industry. In the research presented in this paper, we focus on the development of an interpretable multivariate time series forecasting deep learning architecture for the temperature of the hot metal produced by a blast furnace. A Long Short-Term Memory (LSTM) based architecture enhanced with attention mechanism and guided backpropagation is proposed to accommodate the prediction with a local temporal interpretability for each input. Results are showing high potential for this architecture applied to blast furnace data and providing interpretability correctly reflecting the true complex variables relations dictated by the inherent blast furnace process, and with reduced prediction error compared to a recurrent-based deep learning architecture.

연구 동기 및 목표

• 고로의 고온 철수 온도를 예측하기 위한 해석 가능한 딥 러닝 모델을 개발하기 위해.
• 지역적 시간 해석 가능성을 통해 산업 현장에서 공정 엔지니어들이 데이터 기반 모델을 신뢰할 수 있도록 문제를 해결하기 위해.
• 예측 오차를 줄이면서도 다변량 시계열 예측에서 투명성을 유지하기 위해.
• 복잡하고 비선형적인 관계를 가진 실제 고로 공정 데이터를 기반으로 모델을 검증하기 위해.
• 주의 메커니즘이 산업 현장에서 실제 물리적 공정 역학을 반영할 수 있음을 보여주기 위해.

제안 방법

• 고로에서 수집한 다변량 시계열 데이터를 모델링하기 위해 주의 강화 LSTM 네트워크를 설계한다.
• 주의 메커니즘은 과거 시간 단계에 대해 동적 가중치를 계산하여 현재 예측에 관련된 역사적 입력을 강조한다.
• 가속화된 역전파를 적용하여 예측 출력을 개별 입력 특징에 할당함으로써 국소적 해석 가능성을 확보한다.
• 다양한 공정 변수를 포함한 실제 산업 시계열 데이터를 기반으로 모델을 엔드 투 엔드로 훈련시킨다.
• 각 시간 단계에서 특징 중요도를 시각화하여 입력과 출력 온도 사이의 인과 관계를 드러낸다.
• 표준 LSTM 유닛과 주의 메커니즘을 통합하여 장기 의존성을 유지하면서도 해석 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 주의 메커니즘이 산업 현장에서 다변량 시계열 모델의 해석 가능성을 향상시킬 수 있는가?
• RQ2 주의 메커니즘이 고로 운영에서 진정한 물리적 관계를 올바르게 반영하는가?
• RQ3 제안된 모델이 철강 공정 응용에서 표준 RNN보다 예측 오차를 줄일 수 있는가?
• RQ4 각 시간 단계에서 개별 입력 변수는 예측에 어떻게 기여하는가?
• RQ5 가속화된 역전파가 복잡한 산업 시계열에서 특징 중요도를 효과적으로 국소화할 수 있는가?

주요 결과

• 주의 강화 LSTM 모델은 고로 데이터에서 표준 순환 모델보다 낮은 예측 오차를 기록했다.
• 주의 메커니즘이 알려진 물리적 공정 역학과 일치하는 관련 있는 역사적 시간 단계를 성공적으로 강조했다.
• 가속화된 역전파를 통해 예측 결과를 입력 변수에 대해 국소적이고 시간에 따라 특정된 방식으로 할당하여 모델의 투명성을 향상시켰다.
• 도메인 전문가의 검토를 통해 모델의 해석 가능성은 철강 공정 지식과 일치하는 것으로 확인되었다.
• 주의 가중치는 기준 모델에서 드러나지 않았던 다변량 입력 간의 비트리비얼하고 복잡한 의존성을 드러냈다.
• 주의 메커니즘과 가속화된 역전파의 통합은 산업 시계열 예측에서 높은 정확도와 실질적인 해석 가능성을 동시에 달성했다.