[論文レビュー] Neural Activation Patterns (NAPs): Visual Explainability of Learned Concepts

Alex Bäuerle, Daniel Jönsson+1 more|arXiv (Cornell University)|Jun 20, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、神経ネットワークの層レベルの概念を特定するための手法であるニューラルアクティベーションパターン（NAPs）を紹介する。従来の高値アクティベーションに注目するのではなく、ニューロン全体のアクティベーション分布をクラスタリングすることで、複雑で分散型の概念を明らかにする。複数ユニットのアクティベーションプロファイルが類似する入力をグループ化することで、NAPsは既存のユニットレベルの解釈手法を補完し、多様なアーキテクチャやデータセットにおける学習済み表現の視覚的内省を可能にする。

ABSTRACT

A key to deciphering the inner workings of neural networks is understanding what a model has learned. Promising methods for discovering learned features are based on analyzing activation values, whereby current techniques focus on analyzing high activation values to reveal interesting features on a neuron level. However, analyzing high activation values limits layer-level concept discovery. We present a method that instead takes into account the entire activation distribution. By extracting similar activation profiles within the high-dimensional activation space of a neural network layer, we find groups of inputs that are treated similarly. These input groups represent neural activation patterns (NAPs) and can be used to visualize and interpret learned layer concepts. We release a framework with which NAPs can be extracted from pre-trained models and provide a visual introspection tool that can be used to analyze NAPs. We tested our method with a variety of networks and show how it complements existing methods for analyzing neural network activation values.

研究の動機と目的

• 従来の解釈手法が高値アクティベーションにのみ注目するという限界を是正し、ニューラルネットワークの層に潜む複雑で分散型の概念を捉えること。
• 個々のユニットに注目するのではなく、ニューロン全体のアクティベーション値の全分布を分析することで、層レベルの概念を同定する手法を開発すること。
• 事前学習済みモデルからNAPsを抽出・可視化するフレームワークを通じて、学習済み表現の視覚的でインタラクティブな解釈を可能にすること。
• 層レベルでの一貫性や乖離する概念表現を特定することで、異なるアーキテクチャ間のモデル比較を容易にすること。
• 特徴可視化やアクティベーション最大化といった既存の解釈ツールに加え、複数ユニット間の相互作用や分散表現に敏感な手法を提供すること。

提案手法

• 事前学習済みニューラルネットワークに入力を通して、目的の層からのアクティベーションベクトルを抽出する。
• 各ユニットごとにアクティベーション値を正規化し、各ニューロンがクラスタリングプロセスに等しく寄与するようにする。
• k-meansや階層的クラスタリングなどのクラスタリングアルゴリズムを適用し、層に含まれるすべてのユニットにおけるアクティベーションプロファイルの類似度に基づいて入力をグループ化する。
• 各クラスタ（NAP）に対応する入力画像、予測結果、ラベルを関連付け、視覚的解釈を可能にする。
• 入力画像、アクティベーション分布、予測メタデータを含む、NAPsを探索可能なインタラクティブな可視化インターフェースを開発する。
• ResNet50やInception V3などのさまざまなネットワークアーキテクチャ、およびMNISTやImageNetなどのさまざまなデータタイプに本手法を適用し、汎用性を実証する。

実験結果

リサーチクエスチョン

• RQ1 ニューロン全体のアクティベーション分布をクラスタリングすることで、高値アクティベーションのみに注目する手法が見逃すような、意味的で解釈可能な層レベルの概念を明らかにできるか？
• RQ2 異なるニューラルネットワークアーキテクチャ間で、NAPsの概念の一貫性と表現多様性はどのように異なるか？
• RQ3 アクティベーションクラスタの視覚的点検を通じて、NAPsは訓練データのバイアスや性能上の問題をどの程度明らかにできるか？
• RQ4 NAPsは、複雑な特徴（例：「硫黄色のバタフライ」）が単純な特徴から段階的に出現するような、複数層にわたる階層的概念学習を同定・可視化できるか？
• RQ5 NAPsをアトリビューション手法と統合することで、特定のNAPを駆動する入力特徴の解釈性がどの程度向上するか？

主な発見

• NAPsは全アクティベーションプロファイルのクラスタリングにより、max-activation や特徴可視化手法では捉えきれない複雑で分散型の表現を効果的に同定し、層レベルの概念を明らかにする。
• 本手法は異なるアーキテクチャ間で一貫した概念の発見を示しており、例としてInception V3とResNet50が「硫黄色のバタフライ」のような高レベルの概念に対して類似したNAPsを示しており、アーキテクチャの間での類似表現への収束を示している。
• NAPsは、類似したアクティベーションパターンを示すが予測が誤りである入力のクラスタを明らかにすることで、モデルの弱み（バイアスや一般化不足）の検出を可能にする。
• NAPsの可視化と対比を通じて、アーキテクチャ間の概念表現の一致と乖離を可視化することで、モデル比較を支援する。
• NAPsは、個々のユニットを分析するのでは見えないニューロン間の相互依存性を捉える点で、既存の解釈ツールと補完的である。
• 著者らは、多様なデータセットやネットワークタイプにおける事前学習済みモデルからNAPsを再現可能に抽出・分析できる、公開用フレームワークとインタラクティブな可視化ツールをリリースしている。