[論文レビュー] Convolutional Neural Network Interpretability with General Pattern Theory

Erico Tjoa, Cuntai Guan|arXiv (Cornell University)|Feb 5, 2021

Explainable Artificial Intelligence (XAI)参考文献 25被引用数 4

ひとこと要約

本稿では、一般パターン理論（GPT）を用いて深層学習におけるコンponentごとの解釈可能性を実現するため、ResNetとU-Netの要素を統合したハイブリッドCNNアーキテクチャ、GPTNetを提案する。画像を学習可能な生成子の配置とみなし、各生成子ごとに局所的なヒートマップを生成することで、標準的なXAI手法に比べて解釈性が向上し、GPTに基づく合成MNISTデータの正確な空間整合性を有する再構成が有効に達成された。

ABSTRACT

Ongoing efforts to understand deep neural networks (DNN) have provided many insights, but DNNs remain incompletely understood. Improving DNN's interpretability has practical benefits, such as more accountable usage, better algorithm maintenance and improvement. The complexity of dataset structure may contribute to the difficulty in solving interpretability problem arising from DNN's black-box mechanism. Thus, we propose to use pattern theory formulated by Ulf Grenander, in which data can be described as configurations of fundamental objects that allow us to investigate convolutional neural network's (CNN) interpretability in a component-wise manner. Specifically, U-Net-like structure is formed by attaching expansion blocks (EB) to ResNet, allowing it to perform semantic segmentation-like tasks at its EB output channels designed to be compatible with pattern theory's configurations. Through these modules, some heatmap-based explainable artificial intelligence (XAI) methods will be shown to extract explanations w.r.t individual generators that make up a single data sample, potentially reducing the impact of dataset's complexity to interpretability problem. The MNIST-equivalent dataset containing pattern theory's elements is designed to facilitate smoother entry into this framework, along which the theory's generative aspect is naturally presented.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）における解釈可能性の課題を、基本的なデータ構造に根ざした説明によって解決すること。
• データを離散的生成子の配置としてモデル化することで、DNNの解釈可能性に及ぼすデータセットの複雑さの影響を低減すること。
• 分類とセマンティックセグメンテーションの機能を統合した新規アーキテクチャを用いて、コンponentごとの説明を可能とすること。
• GPTの原則に従って構造化された合成MNISTに類似したデータセットを用いて、フレームワークを検証すること。
• 理論に裏付けられた一貫した解釈可能性フレームワークの下で、XAI手法の評価と比較を実施すること。

提案手法

• 分類に適したResNetと、生成子配置予測に適したU-Netに類似した拡張ブロック（EBs）を組み合わせたハイブリッドアーキテクチャであるGPTNetを提案する。
• 各画像が有限の生成子が格子上に配置された構成であるGPTベースのデータセット（GPT MNIST）を設計し、空間的位置と結合値はトポロジー行列によって定義される。
• GPTNetを、画像分類と生成子配置の予測を同時に学習させることで、ヒートマップによるコンponentごとの帰属度を可能とする。
• 標準的なXAI手法（例：Grad-CAM、ガイドドバックプロパゲーション、デコンボリューション）を拡張ブロックの出力に適用し、生成子固有のヒートマップを生成する。
• 成長関数を用いて抽出された生成子から画像を再構成し、学習済み配置の生成的一致性を検証する。
• 空間確率分布とパラメータ摂動解析を用いて、コンponentごとの説明の忠実性と耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 データを基本的生成子の配置としてモデル化することで、深層ニューラルネットワークが局所的かつコンponentごとの説明を生成できるか？
• RQ2 生成子レベルの解釈可能性を目的としたアーキテクチャに、異なるXAI手法を適用した場合、その性能はいかほどか？
• RQ3 抽出された生成子配置から画像をどの程度再構成できるか。これは、学習済み表現の質を示唆する。
• RQ4 理論に裏付けられたデータ構造（GPT）を用いることで、標準的な経験的XAIに比べ、解釈結果の信頼性と一貫性が向上するか？
• RQ5 GPT構造の合成データセットで学習したモデルが、自然画像データに一般化可能か？

主な発見

• GPTNetは個々の生成子ごとに局所的なヒートマップを生成でき、Grad-CAMなどの標準的XAI手法に比べて特異性に優れたコンponentごとの解釈可能性を示した。
• ガイドドバックプロパゲーションとデコンボリューションは、Grad-CAMに比べノイズが少なく、生成子レベルの説明（SRC指標）において優れた性能を示したが、標準ラベルの説明ではガイドドバックプロパゲーションが劣っていた。
• GPT MNISTデータセットにおいて、抽出された生成子から高忠実度の画像再構成が達成され、学習済み配置が生成プロセスを正確に再現していることを確認した。
• オリジナルMNISTデータでは再構成に失敗したため、転移学習や再学習なしでは、自然画像分布への一般化は達成されていないことが示された。
• 摂動解析により、ネットワークの生成子レベルの変更への反応が期待される挙動と整合しており、説明の空間的正確性が検証された。
• 抽出された配置を再び画像に変換するプロセスを用いて、モデルが生成プロセスを逆方向に再現できることを実証し、モデルの生成的側面を裏付けた。