[論文レビュー] Visualizing LSTM decisions.

Jos van der Westhuizen, Joan Lasenby|arXiv (Cornell University)|May 23, 2017

Time Series Analysis and Forecasting参考文献 20被引用数 3

ひとこと要約

本稿では、真のクラススコアを最小化するように学習された入力削除マスクを用いて、時系列分類におけるLSTMネットワークのための新規可視化手法を提案している。この手法によって特定された顕著な特徴量が、MIT-BIH心電図アレイズミアデータセットからの単導誘導心電図解析において、既存の医学的知識と非常に一致することが示された。

ABSTRACT

This paper explores four different visualization techniques for long short-term memory (LSTM) networks applied to continuous-valued time series. On the datasets analysed, we find that the best visualization technique is to learn an input deletion mask that optimally reduces the true class score. With a specific focus on single-lead electrocardiograms from the MIT-BIH arrhythmia dataset, we show that salient input features for the LSTM classifier align well with medical theory.

研究の動機と目的

• 連続値をとる時系列データにおけるLSTM意思決定を解釈する可視化手法を開発・評価すること。
• LSTM分類器にとって意味のある入力特徴量を最も効果的に強調する可視化手法を同定すること。
• 最良のパフォーマンスを示した手法の解釈可能性を、心電図解析における確立された医学的知識と照合して検証すること。
• モデルが特定した顕著な特徴量が、臨床的に関連性のある心臓のパターンに対応しているかどうかを評価すること。

提案手法

• 著者らは、真のクラスに対するモデルの信頼度を最小化するように、入力タイムステップを段階的に削除するマスクを学習する。
• マスクは推論中にエンドツーエンドで最適化され、モデルの重みは保持されたまま、重要なタイムステップが特定される。
• 勾配ベースの手法と本稿で提案する削除マスク手法を含む4つの可視化手法を比較した。
• 解釈可能性の評価のために、MIT-BIHアレイズミアデータセットからの単導誘導心電図データにこの手法を適用した。
• 特徴量の重要度は、マスク処理後の真のクラススコアの低下量を測定することで評価され、低下量が大きいほど関連性が高いとされる。

実験結果

リサーチクエスチョン

• RQ1 どの可視化手法が、時系列データにおけるLSTMモデルの意味のある入力特徴量を最も効果的に同定できるか？
• RQ2 モデルが同定した顕著な特徴量は、心電図信号に関する既存の医学的理解とどの程度一致するか？
• RQ3 学習された入力削除マスクは、勾配ベースや活性化ベースの可視化手法に比べて、解釈可能性において優れているか？
• RQ4 モデルの注目は、QRS複合波やSTセグメントなどの臨床的に関連性のある心電図インターバルに集中しているか？

主な発見

• 入力削除マスク手法が、他の手法に比べて意味的により明確な可視化を生成し、関連するタイムステップを効果的に特定した。
• 削除マスクによって特定された顕著な特徴量は、QRS複合波やT波といった臨床的に有意義な心電図成分と非常に一致した。
• 可視化結果は医学的理論と整合的であり、強力な解釈可能性と臨床的関連性を示した。
• 本手法は、MIT-BIHデータセットにおけるさまざまな心拍リズムや不整脈タイプにおいて、高い頑健性を示した。