[論文レビュー] The SVD of Convolutional Weights: A CNN Interpretability Framework

Brenda Praggastis, Davis Brown+4 more|arXiv (Cornell University)|Aug 14, 2022

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

本稿では、4次元畳み込みフィルタを2次元行列に展開することにより、畳み込みニューラルネットワーク（CNN）の重みテンソルに対する新規な特異値分解（SVD）フレームワークを提案する。これにより、フィルタの相関関係の解釈が可能になり、分類を駆動する主要な入力特徴の特定が可能となる。この手法は、支配的特異ベクトルを通じて判別的特徴を明らかにし、ハイパーグラフを用いた意味的階層構造の構築を可能にする。理論的裏付けはランダム行列理論に基づき、CIFAR-10およびImageNetにおけるVGG-16モデルで検証され、DeepDataProfilerライブラリを用いて実装されている。

ABSTRACT

Deep neural networks used for image classification often use convolutional filters to extract distinguishing features before passing them to a linear classifier. Most interpretability literature focuses on providing semantic meaning to convolutional filters to explain a model's reasoning process and confirm its use of relevant information from the input domain. Fully connected layers can be studied by decomposing their weight matrices using a singular value decomposition, in effect studying the correlations between the rows in each matrix to discover the dynamics of the map. In this work we define a singular value decomposition for the weight tensor of a convolutional layer, which provides an analogous understanding of the correlations between filters, exposing the dynamics of the convolutional map. We validate our definition using recent results in random matrix theory. By applying the decomposition across the linear layers of an image classification network we suggest a framework against which interpretability methods might be applied using hypergraphs to model class separation. Rather than looking to the activations to explain the network, we use the singular vectors with the greatest corresponding singular values for each linear layer to identify those features most important to the network. We illustrate our approach with examples and introduce the DeepDataProfiler library, the analysis tool used for this study.

研究の動機と目的

• 活性化に基づく手法を超えた畳み込み層の線形ダイナミクスを分析することで、CNNにおける解釈可能性の欠如に取り組む。
• テンソル展開を用いた数学的に整合性のある4次元畳み込み重みテンソル用SVDの定式化を行い、共有重みの意味を保持する。
• 支配的特異ベクトルに関連する最も重要な入力特徴を同定し、モデルの挙動を入力ドメインの意味論と結びつける。
• 特異ベクトルと特異値から導出されるハイパーグラフを用いて、クラス分離と特徴の重要度をモデル化する。
• SVDに基づくCNN解釈可能性のためのツールとして、DeepDataProfilerライブラリの開発と検証を行う。

提案手法

• 空間的およびフィルタ関係を保持する同型埋め込みを用いて、4次元畳み込み重みテンソルを2次元行列に展開する。
• 展開された行列に標準的なSVD（M = USV^T）を適用し、入力特徴の相関関係を表す特異ベクトルと特異値を抽出する。
• 最大の特異値を持つ上位特異ベクトルを、入力ドメインにおいて最も影響力のある特徴の指標とする。
• 特異ベクトルとターゲットクラス間の関係をモデル化するためのハイパーグラフを構築し、特徴の重要度閾値を制御するパラメータを導入する。
• グラム行列解析との理論的整合性と、全結合層におけるランダム行列理論との実験的整合性を用いて、展開手法の妥当性を検証する。
• JupyterノートブックとStreamlitアプリを備えたDeepDataProfiler（DDP）ライブラリにフレームワークを実装し、可視化と分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 4次元畳み込み重みテンソルに意味的に意味のあるSVDを拡張する方法は何か？ これにより、潜在的な線形ダイナミクスをどのように明らかにできるか？
• RQ2 畳み込み層の支配的特異ベクトルと、分類に最も強く影響を与える入力特徴との関係は何か？
• RQ3 展開された畳み込み重み行列のスペクトル特性は、既知のランダム行列理論の結果とどのように一致するか？
• RQ4 特異ベクトルから構築されたハイパーグラフは、CNNにおけるクラス分離を効果的にモデル化できるか？ また、特徴の意味的階層を明らかにできるか？
• RQ5 活性化に基づく帰属法と比較して、このSVDベースのフレームワークは、どの程度解釈可能性を向上させられるか？

主な発見

• 4次元畳み込み重みテンソルに対する提案された展開手法は、畳み込みの構造的および共有重みの意味論を保持しつつ、SVDの適用を可能にする。
• 展開された重み行列の支配的特異ベクトルは、ネットワークが最も強く相関させている入力特徴（増幅または抑制）に対応する。
• このフレームワークは解釈可能な特徴可視化を生成することができ、特にImageNetで訓練されたVGG-16では、生物学的対象にはややぼやっとしたエッジ、人工的対象には鋭い特徴が明確に現れる。
• 重要な特異ベクトルから構築されたハイパーグラフは、特徴の階層的構造を明らかにし、上位層ではより抽象的でクラス固有のパターンを捉える。
• 特に全結合層の共分散行列のスペクトル分布において、ランダム行列理論との整合性が実証的に確認され、手法の妥当性が裏付けられる。
• DeepDataProfilerライブラリは、SVDベースの解釈可能性のエンドツーエンド分析を成功裏に実現しており、ハイパーグラフの構築と特徴可視化を含む、CIFAR-10およびImageNetにおけるVGG-16の両方で有効に機能する。