[論文レビュー] Governance Architecture for Neural Network Superposition: A Structural Solution to Hallucination via Routing and Interference Filtering

Nelson Elhage, Tristan Hume+14 more|arXiv (Cornell University)|Jan 1, 2022

Model Reduction and Neural Networks被引用数 37

ひとこと要約

本論文は、超規模化の toy モデルを通じた neural networks の polysemanticity を研究し、相転移を明らかにし、uniform polytopes との幾何的結びつきおよび adversarial examples との関連を示し、mechanistic interpretability への示唆を与える。

ABSTRACT

Neural networks often pack many unrelated concepts into a single neuron - a puzzling phenomenon known as 'polysemanticity' which makes interpretability much more challenging. This paper provides a toy model where polysemanticity can be fully understood, arising as a result of models storing additional sparse features in "superposition." We demonstrate the existence of a phase change, a surprising connection to the geometry of uniform polytopes, and evidence of a link to adversarial examples. We also discuss potential implications for mechanistic interpretability.

研究の動機と目的

• polysemanticity を、 sparse features を superposition に格納する結果として説明する。
• superposition が相転移として現れる条件を特徴づける。
• superposition の幾何と uniform polytopes および adversarial examples へのリンクを示す。
• mechanistic interpretability と model governance への影響を論じる。

提案手法

• ニューロンにおける feature superposition を実現する toy models を導入する。
• superposition に伴う相転移を分析する。
• superposition の幾何と uniform polytopes との関連を描く。
• adversarial examples との関係を調査する。
• ニューロンネットワークの interpretability と governance に関する含意を論じる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークにおいて feature superposition の形として polysemanticity が生じる原因は何か？
• RQ2 相転移が発生して superposition の挙動を生み出す条件は何か？
• RQ3 superposition の幾何は uniform polytopes および adversarial vulnerability とどう関連するか？
• RQ4 superposition が mechanistic interpretability および model governance に与える影響は何か？

主な発見

• toy models において superposition を生じさせる相転移の証拠。
• superposition の幾何と uniform polytopes の間の驚くべき関連の特定。
• superposition と adversarial examples の関係を示唆する指標。
• routing および interference filtering が superposition を支配しうる可能性の議論。
• ニューロンレベルの表現の構造的視点を通じた interpretability への示唆。