[論文レビュー] Open Problems in Mechanistic Interpretability

Lee Sharkey, Bilal Chughtai+27 more|ArXiv.org|Jan 27, 2025

Natural Language Processing Techniques被引用数 5

ひとこと要約

機械的解釈性における前瞻的レビューで、リバースエンジニアリング、概念ベースの手法、パイプライン自動化に重点を置く、機構的解釈性の開かれた方法論、応用、社会技術的課題の未解決問題を概観する。

ABSTRACT

Mechanistic interpretability aims to understand the computational mechanisms underlying neural networks' capabilities in order to accomplish concrete scientific and engineering goals. Progress in this field thus promises to provide greater assurance over AI system behavior and shed light on exciting scientific questions about the nature of intelligence. Despite recent progress toward these goals, there are many open problems in the field that require solutions before many scientific and practical benefits can be realized: Our methods require both conceptual and practical improvements to reveal deeper insights; we must figure out how best to apply our methods in pursuit of specific goals; and the field must grapple with socio-technical challenges that influence and are influenced by our work. This forward-facing review discusses the current frontier of mechanistic interpretability and the open problems that the field may benefit from prioritizing.

研究の動機と目的

• 機械的解釈性がニューラルネットワークの一般化を理解するうえで達成しようとする目的を明確にする。
• 現在の手法（リバースエンジニアリングと概念ベースの解釈性）とそれらの未解決問題を調査する。
• 回路発見を手続化し解釈性研究を自動化する実践的な手順を特定する。
• 監視安全性、挙動の制御、モデル能力の予測など、適用主導の目標について議論する。
• 機械的解釈性に関連する社会技術的およびガバナンス問題に取り組む。

提案手法

• 分解、記述、検証を通じてネットワーク構成要素の役割を特定する手法としてリバースエンジニアリングを論じる。
• 概念とプローブを用いて与えられた役割に対するコンポーネントを特定する概念ベースの解釈性を論じる。
• 次元削減、スパース辞書学習、SDLなどの分解法とそれらの限界を評価する。
• 線形表現仮説とスパーシティを解釈性の代理指標として批判的に分析する。
• 機械的解釈性を回路発見パイプラインと自動化の道筋へと手続化することを提案する。

Figure 1 : Two approaches to neural network interpretability. (Left) Reverse Engineering is characterized by decomposing networks into functional components and describing how those components interact to produce the network’s behavior. It thus aims to ‘identify the roles of network components’ ( Se

実験結果

リサーチクエスチョン

• RQ1 ネットワーク構成要素の役割を特定するための方法と基礎における主な未解決問題は何か？
• RQ2 指定された概念に対してネットワークのコンポーネントを信頼性高く特定するうえで、概念ベースのプローブの限界は何か？
• RQ3 機械的解釈性を回路発見パイプラインと自動化ワークフローへ手続き化するにはどうすればよいか？
• RQ4 AIシステムの監視・制御・予測への適用における主な課題と機会は何か？
• RQ5 機械的解釈性を進展させることから生じる社会技術的およびガバナンスの問題は何か？

主な発見

• SDLは最も一般的な教師なし分解法だが、実践的にも概念的にも重大な制約を伴う。
• 多くの分解は線形表現仮説に依存しており、これはモデル間で普遍的に成り立つものではない。
• SDLはスパーシティを解釈性の代理指標と仮定するが、特徴の分割、吸収、合成の影響により必ずしも成り立たないことがある。
• 現在の分解法は根底にある機構を直接明らかにするものではなく、活性化を特定するだけで、正確な機構を示さない。
• 表現はニューロンや層を超えるアーキテクチャの構成要素に分布している可能性があり、分解を複雑にする。
• 理論的基盤の改善と、スケーラブルでアーキテクチャを考慮した分解手法の必要性がある。

Figure 2 : The steps of reverse engineering neural networks. (1) Decomposing a network into simpler components. This decomposition might not necessarily use architecturally-defined bases, such as individual neurons or layers ( Section ˜ 2.1.2 ). (2) Hypothesizing about the functional roles of some o