[논문 리뷰] VAE-LIME: Deep Generative Model Based Approach for Local Data-Driven Model Interpretability Applied to the Ironmaking Industry

Cédric Schockaert, Vadim Macher외 1명|arXiv (Cornell University)|2020. 01. 01.

Neural Networks and Applications참고 문헌 10인용 수 5

한 줄 요약

이 논문은 철강 제조 분야의 데이터 기반 블랙박스 모델을 위한 새로운 局소 해석 가능성 방법인 VAE-LIME를 제안한다. 이 방법은 다변량 시간적 상관관계를 고려한 더 현실적인 프로세스 일致성 있는 합성 데이터를 생성하기 위해 변동형 오토인코더(Variational Autoencoder, VAE)를 사용한다. LIME의 무작위 샘플링 대신 VAE가 생성한 샘플을 사용함으로써, 블랙박스 모델 예측을 더 정확히 근사할 수 있으며, 이로 인해 유사도 지표(R² = 0.98 vs. 0.93)가 높아지고 오차(MSE = 6.1 vs. 19.4)가 크게 감소한다.

ABSTRACT

Machine learning applied to generate data-driven models are lacking of transparency leading the process engineer to lose confidence in relying on the model predictions to optimize his industrial process. Bringing processes in the industry to a certain level of autonomy using data-driven models is particularly challenging as the first user of those models, is the expert in the process with often decades of experience. It is necessary to expose to the process engineer, not solely the model predictions, but also their interpretability. To that end, several approaches have been proposed in the literature. The Local Interpretable Model-agnostic Explanations (LIME) method has gained a lot of interest from the research community recently. The principle of this method is to train a linear model that is locally approximating the black-box model, by generating randomly artificial data points locally. Model-agnostic local interpretability solutions based on LIME have recently emerged to improve the original method. We present in this paper a novel approach, VAE-LIME, for local interpretability of data-driven models forecasting the temperature of the hot metal produced by a blast furnace. Such ironmaking process data is characterized by multivariate time series with high inter-correlation representing the underlying process in a blast furnace. Our contribution is to use a Variational Autoencoder (VAE) to learn the complex blast furnace process characteristics from the data. The VAE is aiming at generating optimal artificial samples to train a local interpretable model better representing the black-box model in the neighborhood of the input sample processed by the black-box model to make a prediction. In comparison with LIME, VAE-LIME is showing a significantly improved local fidelity of the local interpretable linear model with the black-box model resulting in robust model interpretability.

연구 동기 및 목표

• 철강 제조 산업에서 사용되는 블랙박스 데이터 기반 모델의 해석 가능성 부족 문제를 해결하기 위해, 프로세스 엔지니어들이 투명하지 않은 예측으로 인해 신뢰를 기대하기 어려운 상황를 해결한다.
• LIME의 국소 유사도를 향상시키기 위해, 국소 서로서프 모델 학습을 위한 더 현실적이고 프로세스 일치성이 높은 합성 데이터를 생성한다.
• 다변량 시계열 철강 고로 데이터의 복잡한 상관관계를 활용하여 국소 설명의 신뢰성을 향상시킨다.
• 프로세스 엔지니어가 모델 검증과 운영 의사결정 지원을 위해 신뢰할 수 있고 인스턴스 기반의 설명을 제공한다.
• 모델에 종속되지 않은 후행 해석 가능성 프레임워크를 개발하여 산업 환경에서 훈련된 임의의 블랙박스 모델에 적용 가능하도록 한다.

제안 방법

• 고로의 역동적 다변량 시계열 데이터를 기반으로 변동형 오토인코더(Variational Autoencoder, VAE)를 훈련하여 데이터의 기저 분포와 복잡한 변수 간 상관관계를 학습한다.
• 훈련된 VAE는 주어진 입력 샘플 주변에서 실제 데이터 다양체 내부에 위치하고 프로세스 역학을 고려한 합성 데이터 포인트를 생성한다.
• 이러한 VAE가 생성한 샘플을 사용하여 국소 선형 서로서프 모델을 학습하며, LIME의 무작위 샘플링 전략을 대체한다.
• 국소 서로서프 모델은 입력의 국소 이웃에서 블랙박스 모델의 예측을 최적으로 근사하도록 최적화된다.
• 유사도 지표로는 R², 평균 제곱 오차(Mean Squared Error, MSE), 서로서프 모델과 블랙박스 모델 예측 간 절대 오차를 사용하여 평가한다.
• 이 방법은 고로에서 고온 철수 온도를 예측하는 데 적용되었으며, 이는 높은 운영 관성과 복잡한 변수 간 의존성으로 인해 중요한 산업 공정이다.

실험 결과

연구 질문

• RQ1 딥 페어런스 모델이 산업용 다변량 시계열 데이터에서 LIME 기반 해석 가능성의 국소 유사도를 향상시킬 수 있는가?
• RQ2 VAE가 생성한 데이터는 랜덤 샘플링 대비 국소 설명을 위한 기저 프로세스 구조를 얼마나 잘 유지하는가?
• RQ3 기본 LIME 대비 VAE-LIME는 블랙박스 모델과 국소 서로서프 모델 간 오차를 얼마나 줄이는가?
• RQ4 VAE가 생성한 샘플 사용이 국소 설명에서 변수 중요도 순서의 안정성과 신뢰성 향상에 기여하는가?
• RQ5 VAE-LIME는 고관성 산업 시스템의 도메인 전문가에게 더 신뢰할 수 있고 프로세스 일관성이 높은 설명을 제공할 수 있는가?

주요 결과

• VAE-LIME는 블랙박스 모델에 대한 국소 서로서프 모델의 R² 점수를 0.98로 확보하여 LIME의 0.93보다 유의미하게 높게 나타내, 더 높은 유사도를 입증한다.
• VAE-LIME를 사용한 국소 서로서프 모델의 평균 제곱 오차(MSE)는 6.1로, LIME의 19.4 대비 69% 향상되었다.
• 시험 샘플에서 서로서프 모델과 블랙박스 모델 예측 간 절대 오차는 VAE-LIME로 0.005°C로 감소하여 LIME의 0.57°C보다 크게 개선되었다.
• 시험 샘플 전반의 중앙값 절대 오차는 LIME의 0.60에서 VAE-LIME로 0.025로 감소하여 국소 예측 정확도 향상이 일관되게 나타났다.
• VAE가 생성한 샘플 사용은 데이터 다양체의 더 안정적이고 현실적인 표현을 가능하게 하여 보다 신뢰할 수 있는 변수 중요도 추정을 가능하게 하였다.
• VAE-LIME는 모든 핵심 유사도 지표에서 LIME를 능가하여, 프로세스 인식 기반의 데이터 생성 방식이 복잡한 산업 시스템에서 국소 해석 가능성 향상에 기여함을 확인하였다.