[論文レビュー] Polysemanticity and Capacity in Neural Networks

Adam Scherlis, Kshitij Sachan+3 more|arXiv (Cornell University)|Oct 4, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

この論文は、ニューラルネットワークにおける多義的性（polysemanticity）を理解するためのフレームワークとして、特徴の容量（feature capacity）を導入している。最適な容量割り当てにより、高重要度特徴は一義的表現（monosemantic representation）となり、中程度重要度特徴は多義的表現（polysemantic representation）となり、低重要度特徴は完全に無視される。主な発見は、周辺損失低減量のバランスが取れた際に多義的性が自然に生じることであり、幾何構造からモデルアーキテクチャに依存するブロック・準直交構造が明らかになる。

ABSTRACT

Individual neurons in neural networks often represent a mixture of unrelated features. This phenomenon, called polysemanticity, can make interpreting neural networks more difficult and so we aim to understand its causes. We propose doing so through the lens of feature \emph{capacity}, which is the fractional dimension each feature consumes in the embedding space. We show that in a toy model the optimal capacity allocation tends to monosemantically represent the most important features, polysemantically represent less important features (in proportion to their impact on the loss), and entirely ignore the least important features. Polysemanticity is more prevalent when the inputs have higher kurtosis or sparsity and more prevalent in some architectures than others. Given an optimal allocation of capacity, we go on to study the geometry of the embedding space. We find a block-semi-orthogonal structure, with differing block sizes in different models, highlighting the impact of model architecture on the interpretability of its neurons.

研究の動機と目的

• ニューラルネットワークのニューロンにおける多義的性の原因を理解すること。ここでの多義的性とは、1つのニューロンが関連のない複数の入力特徴を表現することを指す。
• 特徴の容量を、埋め込み空間における特徴が占める分数次元として形式化すること。その値は 0 から 1 の間で制限される。
• 損失関数が特徴の重要度とスパarsityとどのように関連して容量割り当てを通じて多義的表現を促進するかを調査すること。
• 最適な容量割り当て下での埋め込み空間の幾何構造を分析し、ブロック・準直交構造が顕在することを明らかにすること。
• 理論的予測と異なるモデルアーキテクチャおよび入力分布における実験結果を比較すること。

提案手法

• 2次関数的活性化関数を用いた1層ネットワークを用いたトロイモデルを提案し、特徴の重要度とスパarsityの関数として特徴容量の割り当てを解析的に計算する。
• 特徴容量を $ C_i = \frac{(w_i \cdot w_i)^2}{\sum_{j=1}^N (w_i \cdot w_j)^2} $ として定義し、特徴 $ i $ が埋め込み次元のどの程度を占めるかを表す。
• ユニタリ行列構成を用いて、$ 0 \leq C_i \leq 1 $ かつ $ \sum C_i = D $ を満たす任意の容量タプル $ (C_1, \dots, C_N) $ が埋め込み空間で達成可能であることを証明する。
• 特徴の重要度とスパarsityに基づいて、特徴が一義的（$ C_i = 1 $）、無視される（$ C_i = 0 $）、多義的（$ 0 < C_i < 1 $）となる領域を示すフェーズダイアグラムを構築する。
• 埋め込み空間の幾何構造を分析し、ブロック・準直交構造を示す。ここでブロックは同じ埋め込み次元を共有する特徴のグループを表し、そのサイズはモデルアーキテクチャに依存する。
• 入力の尖度（kurtosis）とスパarsityが高くなるほど多義的性が増加し、容量割り当てに構造的制限があるアーキテクチャでは多義的性がより顕著に現れることを示す。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークが埋め込み空間において個々の特徴に、完全、部分的、またはゼロの容量を割り当てる条件は何か？
• RQ2 特徴の重要度と入力のスパarsityが、多義的ニューロンの出現にどのように作用するか？
• RQ3 容量を最適に割り当てた場合、埋め込み空間にどのような幾何的構造が顕在するか？
• RQ4 なぜ一部のモデルでは一義的表現と多義的表現の間で急激な遷移が見られるのに対し、他のモデルではそうではないのか？
• RQ5 モデルアーキテクチャが容量割り当てをどのように制約し、その結果ニューロンの解釈可能性にどのように影響を与えるか？

主な発見

• 損失関数に対して高い重要度を持つ特徴は、常に埋め込み次元を1つ完全に消費する一義的表現（$ C_i = 1 $）となる。
• 低重要度の特徴は、損失に寄与している場合でさえも、完全に無視され、容量がゼロ（$ C_i = 0 $）となる。
• 中程度重要度の特徴は多義的に表現され、他の特徴と埋め込み次元を共有する。この際、周辺損失低減量が等しくなるように容量が割り当てられる。
• 埋め込み空間の幾何構造はブロック・準直交構造を示し、ブロックは同じ埋め込み次元を共有する特徴のグループを表し、そのサイズはモデルアーキテクチャに依存する。
• 入力のスパarsityと尖度（kurtosis）が高くなるほど多義的性が増加し、容量割り当てに制限や非直交構造があるアーキテクチャでは多義的性がより顕著に現れる。
• すべての可能な容量タプル $ (C_1, \dots, C_N) $ で、$ 0 \leq C_i \leq 1 $ かつ $ \sum C_i = D $ を満たすものは、ユニタリ行列構成によって数学的に達成可能である。これにより理論フレームワークの一般性が裏付けられる。