[論文レビュー] Interpretable Deep Convolutional Neural Networks via Meta-learning

Xuan Liu, Xiaoguang Wang+1 more|arXiv (Cornell University)|Feb 2, 2018

Explainable Artificial Intelligence (XAI)参考文献 15被引用数 11

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）の隠れ層表現をクラスタリングとランダムフォレストでモデル化することで、深層畳み込みニューラルネットワーク（CNN）の解釈を可能にするメタラーニング手法、CNN-INTEを提案する。この手法は、モデルの精度を損なうことなく、すべてのテストインスタンスに対してグローバルで忠実かつ可視化可能な分類意思決定の解釈を可能にする。各分類予測における活性化の特徴レベルの分離を、決定木を用いて追跡する。

ABSTRACT

Model interpretability is a requirement in many applications in which crucial decisions are made by users relying on a model's outputs. The recent movement for "algorithmic fairness" also stipulates explainability, and therefore interpretability of learning models. And yet the most successful contemporary Machine Learning approaches, the Deep Neural Networks, produce models that are highly non-interpretable. We attempt to address this challenge by proposing a technique called CNN-INTE to interpret deep Convolutional Neural Networks (CNN) via meta-learning. In this work, we interpret a specific hidden layer of the deep CNN model on the MNIST image dataset. We use a clustering algorithm in a two-level structure to find the meta-level training data and Random Forest as base learning algorithms to generate the meta-level test data. The interpretation results are displayed visually via diagrams, which clearly indicates how a specific test instance is classified. Our method achieves global interpretation for all the test instances without sacrificing the accuracy obtained by the original deep CNN model. This means our model is faithful to the deep CNN model, which leads to reliable interpretations.

研究の動機と目的

• 医療や刑事司法など、意思決定が重大な影響を及える分野において、モデルの意思決定を説明可能にする必要があるという、深層学習における解釈可能性の重要な課題に対処すること。
• ブラックボックスとして扱うのでなく、隠れ層表現を分析することで、深層CNNの内部メカニズムを解釈する手法を提供すること。
• 元のCNNの高い精度を維持しつつ、信頼性があり人間が理解可能な分類行動の解釈を提供すること。
• 個々の予測の周囲の局所的近似にとどまらず、すべてのテストインスタンスに対してグローバルな解釈を可能にすること。
• ビッグデータ上で深層学習モデルを解釈できるスケーラブルなTensorFlowベースのツールを開発すること。

提案手法

• 元のCNNの隠れ層活性化からメタレベルの訓練データを特定するために、二段階のk-meansクラスタリングアルゴリズムを適用する。
• 解釈のためのメタレベルのテストデータを生成するために、ランダムフォレストをベースモデルとして用いる。
• メタレベルの訓練データ上で決定木を学習させ、特徴値と分類予測の関係をモデル化する。
• 各ノードでの活性化値をプロットすることで、決定木をたどる分類経路を視覚的に追跡し、真のクラスと仮説クラスを比較する。
• 色分けされた長方形（緑：分離可能、赤：重複あり）を用いて、各意思決定ノードにおける真のクラスと仮説クラスの活性化の分離性を強調する。
• メタラーニングを用いて、入力特徴を学習済み表現にマッピングすることで、任意の隠れ層への解釈を拡張する。

実験結果

リサーチクエスチョン

• RQ1 予測精度を損なわせることなく、深層CNNの隠れ層の内部意思決定プロセスを解釈する方法は何か？
• RQ2 個々の予測の周囲の局所的近似にとどまらず、すべてのテストインスタンスに対してグローバルな分類意思決定の解釈は可能か？
• RQ3 深層CNNにおいて、特定のクラス予測に至るまでの特徴ベースの逐次的分離を可視化する方法は何か？
• RQ4 メタラーニング技術を用いて、忠実でスケーラブルな深層学習モデルの解釈フレームワークを構築できるか？
• RQ5 解釈が人間が理解可能であり、かつ元のモデルの挙動に忠実であることをどのように保証できるか？

主な発見

• 本手法は、元のCNNの精度を保持しつつ、分類意思決定の階層的可視化分析を可能にするため、忠実な解釈を達成する。
• 解釈はグローバルであり、局所的領域にとどまらず、全特徴空間にわたるすべてのテストインスタンスに適用可能である。
• 視覚的図解により、各意思決定ノードで真のクラスと仮説クラスの活性化が分離可能かどうかが明確に示され、正しく分類されたインスタンスでは決定木の4段階目で分離性が確認される。
• 正しく分類されたインスタンス「True1」では、真のクラス（3）が4番目の意思決定ノードで他のすべてのクラスと明確に分離され、活性化に重複がない。
• 本手法は誤分類の原因を特定でき、例えば「Wrong1」インスタンスでは、真のクラスと仮説クラスの活性化が持続的に重複しており、分離が失敗していることが明らかになる。
• 本手法はスケーラブルであり、TensorFlowで実装されており、ビッグデータへのデプロイを可能としており、LIMEなどの先行研究で指摘されたスケーラビリティのギャップを埋めている。