[論文レビュー] Engineering Monosemanticity in Toy Models

Adam S. Jermyn, Nicholas Schiefer+1 more|arXiv (Cornell University)|Nov 16, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

この論文は、学習動態とアーキテクチャ選択を操作することで、小さな扱いやすいニューラルネットワークモデルに一義的ニューロン（1つの解釈可能な入力特徴に反応するニューロン）を設計可能であることを示している。負のバイアスで初期化するか、モデル幅を拡大することで、性能を損なうことなく、非常に一義的ニューロンの解を得ることができ、一義的ニューロンおよび多義的ニューロンの両方のメカニズム的解釈が可能になる。

ABSTRACT

In some neural networks, individual neurons correspond to natural ``features'' in the input. Such \emph{monosemantic} neurons are of great help in interpretability studies, as they can be cleanly understood. In this work we report preliminary attempts to engineer monosemanticity in toy models. We find that models can be made more monosemantic without increasing the loss by just changing which local minimum the training process finds. More monosemantic loss minima have moderate negative biases, and we are able to use this fact to engineer highly monosemantic models. We are able to mechanistically interpret these models, including the residual polysemantic neurons, and uncover a simple yet surprising algorithm. Finally, we find that providing models with more neurons per layer makes the models more monosemantic, albeit at increased computational cost. These findings point to a number of new questions and avenues for engineering monosemanticity, which we intend to study these in future work.

研究の動機と目的

• 一義的ニューロンが、小さなニューラルネットワークモデルにおいて体系的につくれるかを調査すること。
• 学習動態とアーキテクチャ的選択がニューラルネットワークにおける一義的ニューロン性に与える影響を理解すること。
• 損失や計算コストを増加させることなく、高い一義的ニューロン性を達成するための手法を開発すること。
• これらの設計済みモデルにおいて、一義的ニューロンおよび多義的ニューロンの両方のメカニズム的解釈を可能にすること。

提案手法

• 線形変換（バイアスを含む）と非線形性の後に、バイアスなしの2番目の線形層を含む2層のフィードフォワードアーキテクチャを使用する。
• 特徴復元、ランダム再投影、絶対値計算の3つのタスクを訓練に用い、すべてのタスクで既知の真値特徴を持つように設計する。
• 学習率とバイアス初期化を制御することで、最適化が異なる局所的最小値に向けられるようにする。
• バイアスに重み減衰を適用することで、一義的ニューロン解に系統的にモデルを向けられるようにする。
• 層ごとのニューロン数を系統的に変化させ、モデル幅が一義的ニューロン性に与える影響を調査する。
• ニューロン活性、入力/出力マップ、回復された特徴の干渉パターンの分析により、メカニズム的解釈を実施する。

実験結果

リサーチクエスチョン

• RQ1 性能を低下させることなく、小さな解釈可能なモデルで一義的ニューロンを設計できるか？
• RQ2 学習率やバイアス初期化といったトレーニングハイパーパrameterの選択が、一義的ニューロン性に与える影響は何か？
• RQ3 層ごとのニューロン数を増やすことで一義的ニューロン性が向上するか？もし向上するなら、そのコストは何か？
• RQ4 訓練済みモデルにおいて、一義的ニューロンおよび多義的ニューロンが実装する計算アルゴリズムは何か？
• RQ5 バイアスパターンは、一義的最小解の同定および設計に信頼できるシグナルとして機能するか？

主な発見

• 高い学習率または負のバイアス初期化で訓練したモデルは、性能劣化を伴わずに、より一義的ニューロン性の高い局所的最小解に収束する。
• より一義的ニューロン性の高い最小解では、3つのタスクすべてで中程度の負のバイアスが一貫して観察される。
• バイアスに重み減衰を適用することで、非常に一義的ニューロン性の高いモデルを設計可能となり、L1正則化と同等の性能を達成する。
• 層ごとのニューロン数を増やすことで一義的ニューロン性が向上するが、計算負荷の増加を伴う。
• 一義的ニューロン極限において、1つのニューロンは特徴回復と干渉抑制のバランスを取るアルゴリズムを実装する。
• 1つの特徴に対して2つの一義的ニューロンが協働し、特徴を「おそらく真実のもの」と「おそらく干渉のもの」と分類し、真実特徴の強度を回復する。