[論文レビュー] An Investigation of Interpretability Techniques for Deep Learning in Predictive Process Analytics

Catarina Moreira, Renuka Sindhgatta+3 more|arXiv (Cornell University)|Feb 21, 2020

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本稿は、がん患者の実世界の医療イベントログを用いた予測プロセス分析において、深層学習およびランダムフォレストの解釈可能性技術を調査している。自己符号化器を用いて深層ニューラルネットワークの隠れ層からの非線形表現を抽出し、ランダムフォレストにおける局所的代理説明にLIMEを適用することで、両手法がモデルの解釈性を向上させることを示している。臨床医が特徴量の影響を理解し、がん特有のパターンを同定できるようになり、LIMEは明確な局所的洞察を提供する一方、自己符号化器はがんタイプに関連する非線形クラスタを明らかにする。

ABSTRACT

This paper explores interpretability techniques for two of the most successful learning algorithms in medical decision-making literature: deep neural networks and random forests. We applied these algorithms in a real-world medical dataset containing information about patients with cancer, where we learn models that try to predict the type of cancer of the patient, given their set of medical activity records. We explored different algorithms based on neural network architectures using long short term deep neural networks, and random forests. Since there is a growing need to provide decision-makers understandings about the logic of predictions of black boxes, we also explored different techniques that provide interpretations for these classifiers. In one of the techniques, we intercepted some hidden layers of these neural networks and used autoencoders in order to learn what is the representation of the input in the hidden layers. In another, we investigated an interpretable model locally around the random forest's prediction. Results show learning an interpretable model locally around the model's prediction leads to a higher understanding of why the algorithm is making some decision. Use of local and linear model helps identify the features used in prediction of a specific instance or data point. We see certain distinct features used for predictions that provide useful insights about the type of cancer, along with features that do not generalize well. In addition, the structured deep learning approach using autoencoders provided meaningful prediction insights, which resulted in the identification of nonlinear clusters correspondent to the patients' different types of cancer.

研究の動機と目的

• 医療意思決定における高精度なモデルが説明可能でない限り十分でないという、深層学習モデルにおける解釈可能性の重要なニーズに対処すること。
• 深層ニューラルネットワークの隠れ層から意味のある非線形表現を抽出するため、自己符号化器がどのように機能するかを評価すること。
• ランダムフォレストの個々の予測を解釈するために、LIMEが局所的かつモデルに依存しない説明手法として効果的であるかを評価すること。
• 特定のがんタイプに対して一貫して予測的であるが、一般化できないか、関連性のない臨床的特徴を特定すること。
• 意思決定者にブラックボックスモデルの挙動に関する解釈可能なインサイトを提供し、信頼性と臨床的有用性を高めること。

提案手法

• オランダの病院が保有する患者記録およびがんタイプを含む実世界の医療イベントログデータセットに、長短期記憶（LSTM）ネットワークとランダムフォレストを適用した。
• 深層ニューラルネットワークの隠れ層をインターセプトし、自己符号化器を用いて入力データの圧縮された非線形表現を学習することで、がんタイプに対応する非線形クラスタの発見を可能にした。
• LIMEフレームワークを用いて、ランダムフォレストの個々の予測の周囲に局所的線形代理モデルを生成し、各インスタンスにおける特徴量の寄与度を説明した。
• 複数のインスタンスにわたる局所的説明を統合してグローバルな説明を構築し、特徴量重要度と一般化を最大化するためのカバレッジ関数を用いた。
• 摂動に基づくサンプリングを用いて、各インスタンスの周囲に局所的データポイントを生成し、LIMEが局所的モデルフィッティングを通じて特徴量重要度を推定できるようにした。
• 標準指標（例：正確度）を用いてモデルのパフォーマンスを評価し、予測論理の理解度を評価するための解釈可能性指標を補足的に用いた。

実験結果

リサーチクエスチョン

• RQ1 自己符号化器は、予測プロセス分析における解釈性を向上させるために、深層ニューラルネットワークの隠れ層から意味のある非線形表現を効果的に抽出できるか？
• RQ2 LIMEを局所的代理モデルとして用いることで、グローバルモデル分析に比べて、ランダムフォレストの個々の予測に対するより実行可能で理解しやすいインサイトが得られるか？
• RQ3 年齢、治療法、特定の医療活動など、臨床的特徴量のうち、特定のがんタイプに対して一貫して予測的であるものは何か、一般化できないものは何か？
• RQ4 自己符号化器の潜在空間における非線形クラスタ構造は、医療イベントログ内の既知のがん亜型とどのように対応するか？
• RQ5 局所的説明は、モデルの正確度に依存するのみでなく、意思決定者のモデル予測理解をどの程度向上させるか？

主な発見

• LIMEベースの局所的代理モデルは、個々の予測に影響を与える特定の特徴量（例：年齢、治療法）を明確に特定することで、より高い解釈性を提供した。
• 自己符号化器を用いた構造的深層学習アプローチにより、異なるがんタイプに対応する明確な非線形クラスタが潜在空間に発見され、モデル挙動および誤分類の可能性に関する洞察が得られた。
• 「相談」や「産科・婦人科外来」などの特徴量は頻繁に予測に使用されたが、患者間で一般化しにくく、予測力に制限があった。
• 局所的インスタンスを統合して構築したグローバルな説明は、年齢や治療法といった特徴量が一貫して重要である一方で、他の特徴量は一般化できないことを示し、特徴量選択とモデル最適化に貢献した。
• 自己符号化器とLIMEの組み合わせにより、補完的な解釈性が得られた：自己符号化器はグローバルな非線形データ構造を明らかにしたのに対し、LIMEは個々の意思決定における特徴量レベルの説明を提供した。
• 本研究では、解釈性技術が、予測性能を損なわせることなく、臨床的予測分析におけるブラックボックスモデルの信頼性と理解度を顕著に向上させることを示した。