[論文レビュー] VAE-LIME: Deep Generative Model Based Approach for Local Data-Driven Model Interpretability Applied to the Ironmaking Industry

Cédric Schockaert, Vadim Macher+1 more|arXiv (Cornell University)|Jan 1, 2020

Neural Networks and Applications参考文献 10被引用数 5

ひとこと要約

本稿では、鉄鋼業界のデータ駆動型ブラックボックスモデルにおける新たな局所解釈手法VAE-LIMEを提案する。この手法は、変分オートエンコーダー（VAE）を用いて、プロセスに整合したより現実的で整合性のある合成データを生成し、局所のスラッグモデルの訓練に活用する。LIMEのランダムサンプリングに代えて、高炉データの多次元時系列相関を尊重するVAE生成サンプルを用いることで、VAE-LIMEは、ブラックボックスモデルの予測をより高精度に近似する。その結果、適合度（R² = 0.98 対 0.93）が著しく向上し、誤差（MSE = 6.1 対 19.4）は低減した。

ABSTRACT

Machine learning applied to generate data-driven models are lacking of transparency leading the process engineer to lose confidence in relying on the model predictions to optimize his industrial process. Bringing processes in the industry to a certain level of autonomy using data-driven models is particularly challenging as the first user of those models, is the expert in the process with often decades of experience. It is necessary to expose to the process engineer, not solely the model predictions, but also their interpretability. To that end, several approaches have been proposed in the literature. The Local Interpretable Model-agnostic Explanations (LIME) method has gained a lot of interest from the research community recently. The principle of this method is to train a linear model that is locally approximating the black-box model, by generating randomly artificial data points locally. Model-agnostic local interpretability solutions based on LIME have recently emerged to improve the original method. We present in this paper a novel approach, VAE-LIME, for local interpretability of data-driven models forecasting the temperature of the hot metal produced by a blast furnace. Such ironmaking process data is characterized by multivariate time series with high inter-correlation representing the underlying process in a blast furnace. Our contribution is to use a Variational Autoencoder (VAE) to learn the complex blast furnace process characteristics from the data. The VAE is aiming at generating optimal artificial samples to train a local interpretable model better representing the black-box model in the neighborhood of the input sample processed by the black-box model to make a prediction. In comparison with LIME, VAE-LIME is showing a significantly improved local fidelity of the local interpretable linear model with the black-box model resulting in robust model interpretability.

研究の動機と目的

• 鉄鋼業界で使用されるブラックボックス型データ駆動型モデルにおける解釈不能性の問題に対処すること。プロセスエンジニアが予測の不透明性により信頼を失う状況を改善する。
• LIMEの局所適合度を向上させること。局所のスラッグモデルの訓練に、より現実的でプロセスに整合した合成データを生成する。
• 多次元時系列高炉データに内在する複雑な相関構造を活用し、局所的説明の信頼性を高めること。
• プロセスエンジニアが信頼できる、インスタンス固有の説明を提供することにより、モデル検証および運用意思決定を支援すること。
• あらゆる訓練済みブラックボックスモデルに適用可能な、モデルに依存しない後処理型の解釈フレームワークを構築すること。

提案手法

• 高炉の歴史的多次元時系列データを用いて、変分オートエンコーダー（VAE）を訓練し、データの背後にある分布および複雑な変数間相関を学習する。
• 訓練済みのVAEは、特定の入力サンプルの周囲に、真のデータ多様体上に位置し、プロセスのダイナミクスを尊重する合成データポイントを生成する。
• これらのVAE生成サンプルを用いて、LIMEのランダムサンプリング戦略に代わって、局所線形スラッグモデルを訓練する。
• 局所スラッグモデルは、入力の局所近傍におけるブラックボックスモデルの予測を最もよく近似するように最適化される。
• 適合度は、R²、平均二乗誤差（MSE）、およびスラッグモデルとブラックボックスモデルの予測値の絶対誤差といった指標を用いて評価される。
• 本手法は、高炉の高温鉄水温度を予測するタスクに適用され、高い運用インertiasと複雑な変数依存関係を有する重要な産業的プロセスである。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、産業的多次元時系列データにおけるLIMEベースの解釈性の局所適合度を向上させ得るか？
• RQ2 VAE生成データは、局所的説明におけるプロセス構造の保持において、ランダムサンプリングに比べてどのように優れているか？
• RQ3 標準的なLIMEに比べて、VAE-LIMEはブラックボックスモデルと局所スラッグモデルの間の誤差をどの程度低減するか？
• RQ4 VAE生成サンプルの使用は、局所的説明における変数重要度順位の安定性と信頼性を向上させるか？
• RQ5 VAE-LIMEは、高インエラシティ産業システムにおけるドメインエキスパートにとってより信頼できる、プロセスに整合した説明を提供できるか？

主な発見

• VAE-LIMEは、ブラックボックスモデルへの適合度を示すR²スコアを0.98まで向上させ、LIMEの0.93に比べ顕著に優れた適合度を達成した。
• 局所スラッグモデルの平均二乗誤差（MSE）は、VAE-LIMEで6.1にまで低減され、LIMEの19.4に比べ69%の改善が得られた。
• テストサンプルにおけるスラッグモデルとブラックボックスモデルの予測値の絶対誤差は、VAE-LIMEで0.005°Cにまで低下した。LIMEでは0.57°Cであった。
• テストサンプル全体における中央絶対誤差は、LIMEの0.60からVAE-LIMEでは0.025にまで低下し、局所予測精度の一貫性ある向上が示された。
• VAE生成サンプルの使用により、データ多様体のより安定的かつ現実的な表現が得られ、より信頼できる変数重要度推定が可能になった。
• VAE-LIMEは、すべての主要な適合度指標でLIMEを上回り、プロセスに配慮したデータ生成が、複雑な産業システムにおける局所的解釈性を向上させることを確認した。