[論文レビュー] Distilling Knowledge from Deep Networks with Applications to Healthcare Domain

Zhengping Che, Sanjay Purushotham+2 more|arXiv (Cornell University)|Dec 11, 2015

Machine Learning in Healthcare参考文献 38被引用数 112

ひとこと要約

本稿では、解釈可能なミミック学習（Interpretable Mimic Learning）を提案する。これは、深層学習モデル（例：SDA、LSTM）の予測性能を勾配ブースティング木（Gradient Boosting Trees）を用いて蒸留する知識蒸留フレームワークであり、臨床的有用な解釈可能な臨床型を生成する。実世界のEHR時系列データにおいて、最先端または同等の性能を達成しており、臨床的に意味のある、専門家が検証済みの意思決定ルールを提供する。

ABSTRACT

Exponential growth in Electronic Healthcare Records (EHR) has resulted in new opportunities and urgent needs for discovery of meaningful data-driven representations and patterns of diseases in Computational Phenotyping research. Deep Learning models have shown superior performance for robust prediction in computational phenotyping tasks, but suffer from the issue of model interpretability which is crucial for clinicians involved in decision-making. In this paper, we introduce a novel knowledge-distillation approach called Interpretable Mimic Learning, to learn interpretable phenotype features for making robust prediction while mimicking the performance of deep learning models. Our framework uses Gradient Boosting Trees to learn interpretable features from deep learning models such as Stacked Denoising Autoencoder and Long Short-Term Memory. Exhaustive experiments on a real-world clinical time-series dataset show that our method obtains similar or better performance than the deep learning models, and it provides interpretable phenotypes for clinical decision making.

研究の動機と目的

• 臨床意思決定において、医師が透明性がありルールベースの説明に依存するという、解釈可能な機械学習モデルの重要なニーズに対応する。
• 計算的型の特定に用いられる深層学習モデルには本質的な解釈不能性があるものの、優れた予測性能を示すという課題を克服する。
• 深層ネットワークの予測精度を保持しつつ、人間が読み取れる特徴量と意思決定ルールを生成する知識蒸留フレームワークを開発する。
• 複雑な深層学習表現から導出された解釈可能な型を提供することで、臨床専門家がモデル出力を検証し信頼できるようにする。
• ソフトラベルのみではなく、深層ネットワークから抽出された特徴量を用いることで、臨床予測タスクにおけるミミック性能が向上するかどうかを調査する。

提案手法

• 事前に訓練された深層学習モデル（例：スタックドノイズ除去オートエンコーダーやLSTM）のソフトラベル予測を模倣するように、勾配ブースティング木（GBT）モデルを訓練することで知識蒸留を実施する。
• GBTの学習中に、深層モデルの出力確率（ソフトターゲット）を監視信号として用い、予測知識を転送する。
• ソフトラベルに加え、深層学習特徴量（例：SDAやLSTMエンコーダーからのもの）をGBTの入力に組み込むことで、ミミック性能を向上させる。
• GBTが内蔵する解釈可能性を活用し、訓練済みの木から意思決定ルールと特徴量の重要度スコアを抽出して臨床的検証を実施する。
• GBTがDNN、SDA、LSTMをミミックする複数の構成と、ロジスティック回帰（LR）ヘッドを組み合わせたものとの性能を比較する。
• 臨床専門家による評価を通じて、GBTモデルから抽出された上位特徴量と意思決定ルールの臨床的妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 勾配ブースティング木は、臨床時系列データにおいて深層学習モデル（例：SDA、LSTM）の予測性能を効果的にミミック可能であり、解釈可能性を維持できるか？
• RQ2 ソフトラベルのみか、ソフトラベルと深層学習特徴量の組み合わせのどちらが、より優れたミミック性能をもたらすか？
• RQ3 GBTベースのミミックモデルが学習した解釈可能な特徴量と意思決定ルールは、臨床的に関連する生理的マーカーと一致するか？
• RQ4 GBTベースのミミックモデルの性能は、元の深層モデルや単一の意思決定木のような単純なモデルと比較してどうか？
• RQ5 専門医が、解釈可能なミミック学習フレームワークによって生成された型と意思決定ルールの臨床的妥当性を検証できるか？

主な発見

• 解釈可能なミミック学習フレームワークは、MORおよびVFD予測タスクにおいて、元の深層学習モデル（SDA、LSTM）と同等または優れた性能を達成した。
• 単一の意思決定木ベースのミミック手法（DTmimic-*）よりもGBTベースのミミックモデルが優れており、MORタスクで最大0.0891、VFDタスクで最大0.1152のAUC向上を示した。
• GBTモデルの上位特徴量には、$ ext{MAP-D1}$、$ ext{$oldsymbol{ ext{}}$}$、$ ext{PH-D1}$ といった臨床的に関連性のある時系列変数が含まれており、GBT-LR-LSTMモデルでは重要度スコアが最大0.066に達した。
• PIM2およびPRISMスコア——確立された臨床的リスクスコア——は、一貫して上位の静的特徴量に位置づけられ、学習された型の臨床的妥当性を裏付けた。
• GBTミミックが生成する意思決定木は、標準的なGBTと類似した構造を示しており、一貫したルール学習が行われており、専門家による検証に十分な解釈可能性を有している。
• ソフトラベルに加え、SDAやLSTMからの深層学習特徴量を用いることで、ミミック性能が顕著に向上し、ソフトラベルのみを用いる手法と比較してAUCが高くなった。