[論文レビュー] Interpreting Neural Networks through the Polytope Lens

Sid Black, Lee Sharkey+9 more|arXiv (Cornell University)|Nov 22, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

この論文は、深層ニューラルネットワークの機械的解釈可能性のための新しい枠組みとして「ポリトープレンズ」を導入し、ReLUのような区分線形活性化関数が活性化空間を離散的なポリトープに分割することを主張している—これはニューロンや方向よりも根本的な単位である幾何的領域である。著者らは、ポリトープが単意味的領域を特定し、意味的境界を反映することを示しており、非線形表現を理解するためのより強固な抽象化を提供している。

ABSTRACT

Mechanistic interpretability aims to explain what a neural network has learned at a nuts-and-bolts level. What are the fundamental primitives of neural network representations? Previous mechanistic descriptions have used individual neurons or their linear combinations to understand the representations a network has learned. But there are clues that neurons and their linear combinations are not the correct fundamental units of description: directions cannot describe how neural networks use nonlinearities to structure their representations. Moreover, many instances of individual neurons and their combinations are polysemantic (i.e. they have multiple unrelated meanings). Polysemanticity makes interpreting the network in terms of neurons or directions challenging since we can no longer assign a specific feature to a neural unit. In order to find a basic unit of description that does not suffer from these problems, we zoom in beyond just directions to study the way that piecewise linear activation functions (such as ReLU) partition the activation space into numerous discrete polytopes. We call this perspective the polytope lens. The polytope lens makes concrete predictions about the behavior of neural networks, which we evaluate through experiments on both convolutional image classifiers and language models. Specifically, we show that polytopes can be used to identify monosemantic regions of activation space (while directions are not in general monosemantic) and that the density of polytope boundaries reflect semantic boundaries. We also outline a vision for what mechanistic interpretability might look like through the polytope lens.

研究の動機と目的

• ニューロンや方向が機械的解釈可能性における基本的単位としての限界、特に多意味性と非線形性を考慮しないことの問題を解決すること。
• 区分線形活性化関数によって定義されるポリトープ—つまり、線形変換に対応する領域—を、ニューラルネットワーク表現を記述するより原理的で幾何的な基盤として提案すること。
• ポリトープが、ニューロンや方向が失敗する状況でも単意味的活性化領域を特定できるかどうかを評価すること。
• 視覚的および言語的モデルにおけるポリトープ境界が、意味的境界と一致するかどうかを調査すること。
• 活性化空間の非線形構造に注目することで、機械的解釈可能性におけるより「漏れの少ない」抽象化の基盤を築くこと。

提案手法

• ReLUベースのネットワークが活性化空間をポリトープに分割する仕組みを数学的に記述する、最大アフィンスプライン作用素（MASOs）としてニューラルネットワークをモデル化する。
• ReLUの非線形性から生じる超平面によって囲まれる領域としてポリトープを定義し、それぞれの領域が特定の線形変換に対応することを示す。
• 入力間の活性化補間を用いてポリトープ密度を計算し、意味的コンテンツに応じて境界がどのように変化するかを可視化する。
• 活性化ベクトルにスケーリングおよび可視化技術を適用してポリトープ境界をマップし、それらが意味的変化とどの程度一致するかを評価する。
• 多様な入力に対して活性化ベクトルが同一のポリトープ内に留まる場所を分析することで、単意味的領域を同定する。
• ポリトープベースの解釈と従来のニューロン／方向ベースの手法を比較し、解釈の強度と意味的整合性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ポリトープは、ニューラルネットワークにおける個々のニューロンや線形方向よりも、より信頼性が高く単意味的な表現単位として機能できるか？
• RQ2 活性化空間におけるポリトープ境界は、異なる入力概念間の意味的境界に対応しているか？
• RQ3 ポリトープ境界の密度は、画像やテキストの補間における意味的遷移とどのように関係しているか？
• RQ4 ポリトープは、線形特徴方向に比べて、ニューラルネットワークの挙動をより正確かつ曖昧さのない形で機械的解釈可能にする程度はどの程度か？
• RQ5 ポリトープレンズは、高次元表現におけるスーパーポジションや干渉の構造的性質を明らかにできるか？

主な発見

• 個々のニューロンや方向が多意味的である領域においても、ポリトープは単意味的領域を特定でき、ポリトープが解釈のより一貫した単位であることを示している。
• 画像分類器および言語モデルの両方において、補間実験により境界密度が意味的遷移の位置で増加するなど、ポリトープ境界が意味的境界を反映していることが示された。
• ポリトープレンズにより、方向は一貫して解釈可能ではないことが明らかになった：ある領域では単一の意味を持つが、別の領域では多意味的である可能性がある。
• この手法は、視覚的および言語的モデルの両方で、解釈可能で単一意味的な特徴を効果的に同定でき、例ではポリトープが線形方向よりも特徴境界をより正確に捉えていることが示された。
• このフレームワークは、特徴方向が活性化が属するポリトープによって、分布内または分布外であるかを予測可能であると示しており、分布一般化の幾何的基準を提供している。
• ポリトープレンズは、活性化空間の非線形構造を考慮することで、スーパーポジションや多意味性に起因する解釈の錯覚を減らす点で、ニューロンや方向よりもより強固な抽象化を提供している。