[論文レビュー] Attention Mechanism for Multivariate Time Series Recurrent Model Interpretability Applied to the Ironmaking Industry

Cédric Schockaert, Reinhard Leperlier+1 more|arXiv (Cornell University)|Jul 15, 2020

Explainable Artificial Intelligence (XAI)参考文献 17被引用数 6

ひとこと要約

本稿では、鉄水の高炉製錬における解釈可能な多次元時系列予測を目的として、注目メカニズムとガイド付き誤差逆伝播を用いて特徴量の重要度を局所化する、注目を強化したLSTMモデルを提案する。標準的なRNNと比較して、より高い予測精度と複雑なプロセス関係の意味のある解釈可能性を達成している。

ABSTRACT

Data-driven model interpretability is a requirement to gain the acceptance of process engineers to rely on the prediction of a data-driven model to regulate industrial processes in the ironmaking industry. In the research presented in this paper, we focus on the development of an interpretable multivariate time series forecasting deep learning architecture for the temperature of the hot metal produced by a blast furnace. A Long Short-Term Memory (LSTM) based architecture enhanced with attention mechanism and guided backpropagation is proposed to accommodate the prediction with a local temporal interpretability for each input. Results are showing high potential for this architecture applied to blast furnace data and providing interpretability correctly reflecting the true complex variables relations dictated by the inherent blast furnace process, and with reduced prediction error compared to a recurrent-based deep learning architecture.

研究の動機と目的

• 高炉の銑鉄温度を予測する解釈可能なディープラーニングモデルの開発を目的とする。
• 局所的時間的解釈可能性を通じて、産業分野におけるプロセスエンジニアのデータ駆動型モデルへの信頼を得る課題に対処することを目的とする。
• 予測誤差を低減しつつ、多次元時系列予測における透明性を維持することを目的とする。
• 非線形的関係が複雑に絡む実世界の製錬プロセスデータを用いて、モデルの妥当性を検証することを目的とする。
• 注目メカニズムが産業現場における真の物理的プロセスダイナミクスを反映できることを示すこと

提案手法

• 高炉からの多次元時系列データをモデル化する目的で、注目を強化した長短期記憶（LSTM）ネットワークを設計する。
• 注目メカニズムは、過去の時系列ステップにわたる動的重みを計算し、現在の予測に必要な関連する歴史的入力を強調する。
• 予測出力を個々の入力特徴量に帰属づけるために、ガイド付き誤差逆伝播を適用して局所的解釈性を生成する。
• 複数のプロセス変数を含む実産業界の時系列データ上で、エンドツーエンドにモデルを学習する。
• 各時刻ごとに特徴量の重要度を可視化し、入力と出力温度との間の因果関係を明らかにする。
• 標準的なLSTMユニットと注目を組み合わせることで、長期依存関係を保持しつつ解釈可能性を実現するアーキテクチャを統合する。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムは産業現場における多次元時系列モデルの解釈性を向上させることができるか？
• RQ2 注目メカニズムは高炉運用における真の物理的関係を正しく反映することができるか？
• RQ3 提案されたモデルは鉄水製錬応用において、標準的なRNNと比較して予測誤差を低減できるか？
• RQ4 個々の入力変数は、各時刻において予測にどのように寄与しているか？
• RQ5 ガイド付き誤差逆伝播は、複雑な産業用時系列において特徴量の重要度を効果的に局所化できるか？

主な発見

• 注目を強化したLSTMモデルは、高炉データにおいて標準的な再帰的モデルよりも低い予測誤差を達成した。
• 注目メカニズムは、関連する歴史的時系列ステップを効果的に強調し、既知の物理的プロセスダイナミクスと整合した。
• ガイド付き誤差逆伝播により、予測結果を個々の入力変数に時間的・局所的に帰属づけることができ、モデルの透明性が向上した。
• 分野の専門家による検証で、モデルの解釈性は鉄水製錬分野のプロセス知識と整合的であると確認された。
• 注目重みは、ベースラインモデルでは明らかでなかった、複雑で非自明な多次元入力間の依存関係を明らかにした。
• 注目とガイド付き誤差逆伝播の統合により、産業用時系列予測において高い正確性と実用的な解釈可能性の両立が実現された。