[論文レビュー] Interpretation of Deep Temporal Representations by Selective Visualization of Internally Activated Nodes

Sohee Cho, Ginkyeng Lee+2 more|arXiv (Cornell University)|Apr 27, 2020

Explainable Artificial Intelligence (XAI)参考文献 29被引用数 7

ひとこと要約

本稿では、手動ラベル付きセグメンテーションを必要とせずに、個々のチャネルを活性化する代表的な時系列パターンを特定・可視化することにより、深層時系列ニューラルネットワークを解釈するためのフレームワークCPHAPを提案する。高い活性化領域をクラスタリングし、その不確実性を定量化することで、ユーザーはどの入力パターンがチャネル応答を駆動しているかを解釈可能にする。CPHAPは、LRPやランダム選択と比較して、摂動解析において優れたロバストネスを示している。

ABSTRACT

Recently deep neural networks demonstrate competitive performances in classification and regression tasks for many temporal or sequential data. However, it is still hard to understand the classification mechanisms of temporal deep neural networks. In this paper, we propose two new frameworks to visualize temporal representations learned from deep neural networks. Given input data and output, our algorithm interprets the decision of temporal neural network by extracting highly activated periods and visualizes a sub-sequence of input data which contributes to activate the units. Furthermore, we characterize such sub-sequences with clustering and calculate the uncertainty of the suggested type and actual data. We also suggest Layer-wise Relevance from the output of a unit, not from the final output, with backward Monte-Carlo dropout to show the relevance scores of each input point to activate units with providing a visual representation of the uncertainty about this impact.

研究の動機と目的

• 手動アノテートされたセグメンテーションが存在しない時系列データに対する深層時系列ニューラルネットワークにおける解釈可能性の欠如に対処すること。
• 順序データ向け畳み込みニューラルネットワークにおける、個々のチャネルを活性化する代表的な時系列パターンを特定・可視化すること。
• これらのパターンの不確実性を定量化し、新しい入力が訓練時によく観察されたパターンと類似しているかどうかを評価すること。
• 時系列モデル内の内部特徴学習の直感的理解を可能にする、チャネルごとの可視化フレームワークを提供すること。

提案手法

• フレームワークは、隠れ層におけるチャネル活性化を分析することで、入力系列内の高い活性化を示す時系列領域を同定する。
• 類似した活性化領域をグループ化するためのクラスタリングを適用し、各チャネルごとの一般化された代表的時系列パターンを抽出する。
• 各クラスタの不確実性を計算し、対応するチャネルを活性化する入力形状のばらつきを示す。
• 摂動解析を用いてロバストネスを評価する。選択された領域を保持し、ノイズ下でのチャネル活性化の変化を測定する。
• 入力データにガウス分布、逆分布、ゼロ摂動を適用することで、LRPおよびランダム選択との性能を比較する。
• フレームワークは、異なる層におけるチャネル固有の役割の可視化を可能にし、低レベルの特徴と高レベルのトレンドがどのように捉えられるかを示す。

実験結果

リサーチクエスチョン

• RQ1 手動ラベル付きセグメンテーションに依存せずに、深層時系列ニューラルネットワークにおける個々のチャネルを活性化する代表的時系列パターンを特定・可視化する方法は何か？
• RQ2 関連性に基づく選択と比較して、選択された時系列領域が入力摂動下でのチャネル活性化のロバストネスに果たす寄与は何か？
• RQ3 クラスタメンバーシップの不確実性は、ユーザーが新しい入力パターンが訓練データで観察されたパターンと類似しているかどうかを評価するのにどのように役立つか？
• RQ4 チャネル固有の可視化は、順序データ向け深層学習モデルにおける時系列表現の解釈可能性を向上させることができるか？

主な発見

• CPHAPは、ガウス分布および逆分布摂動下でも、LRPやランダム選択と比較してチャネル活性化のロバストネスをよりよく維持しており、活性化の変化が顕著に小さいことが示された。
• Uwaveデータセットでは、ゼロ摂動下で80％の摂動ケースにおいて、CPHAPの活性化差がLRPより小さく、優れた領域選択を示した。
• フレームワークは、チャネル応答を駆動する重要な時系列部分列を効果的に同定できており、CPHAPで選択された領域を保持した場合、活性化の変化がわずかにしか増加しなかった。
• 各クラスタの不確実性推定値は、新しい入力が訓練時に観察されたパターンと類似している可能性があるかどうかを、意味のある洞察を提供した。
• 摂動解析により、CPHAPで選択された領域を保持した場合、関連性スコアで選択された点を保持した場合よりも、チャネル活性化がより安定することが確認された。
• 本手法は、解釈可能でチャネルごとの時系列表現の可視化を可能にし、深層ネットワークがどのように順序特徴を学習しているかを理解する手がかりを提供する。