[論文レビュー] Mechanistic Interpretability for AI Safety -- A Review

Leonard Bereska, Efstratios Gavves|arXiv (Cornell University)|Apr 22, 2024

Adversarial Robustness in Machine Learning被引用数 24

ひとこと要約

機械的解釈可能性の総合的調査で、コア概念（特徴、回路、モチーフ）を定義し、因果分析の方法論を概観し、安全性への影響、拡張性、将来の方向性を論じる。

ABSTRACT

Understanding AI systems' inner workings is critical for ensuring value alignment and safety. This review explores mechanistic interpretability: reverse engineering the computational mechanisms and representations learned by neural networks into human-understandable algorithms and concepts to provide a granular, causal understanding. We establish foundational concepts such as features encoding knowledge within neural activations and hypotheses about their representation and computation. We survey methodologies for causally dissecting model behaviors and assess the relevance of mechanistic interpretability to AI safety. We examine benefits in understanding, control, alignment, and risks such as capability gains and dual-use concerns. We investigate challenges surrounding scalability, automation, and comprehensive interpretation. We advocate for clarifying concepts, setting standards, and scaling techniques to handle complex models and behaviors and expand to domains such as vision and reinforcement learning. Mechanistic interpretability could help prevent catastrophic outcomes as AI systems become more powerful and inscrutable.

研究の動機と目的

• 機械的解釈可能性を定義し、それを他のパラダイムと区別する。
• コア概念（特徴、回路、モチーフ）とそれらがニューラルネットワークでどのように計算されるかを統合する。
• 機械的解析の観察的および介入的手法を調査する。
• AIの安全性、アラインメント、政策への影響と拡張性の課題を評価する。
• 分野の今後の方向性と標準を提供する。

提案手法

• 機械的解釈可能性に関する文献の調査と統合。
• 基礎概念の定義と議論（特徴、回路、モチーフ、世界モデル）。
• 観察および介入技法の分類（事例ベースのプローブ、特徴の検証、活性化のパッチング、因果的スクラビング）。
• 普遍性、重ね合わせ、線形表現仮説の おもちゃモデルと実モデルの証拠を用いた議論。
• ドメイン拡張（視覚、強化学習）と安全性への影響についての議論。

Figure 1 : Interpretability paradigms offer distinct lenses for understanding neural networks: Behavioral analyzes input-output relations; Attributional quantifies individual input feature influences; Concept-based identifies high-level representations governing behavior; Mechanistic uncovers precis

実験結果

リサーチクエスチョン

• RQ1 機械的解釈可能性を支える基礎概念と仮説は何か？
• RQ2 特徴、回路、モチーフはどのように同定・分析・スケールさせることができるか？
• RQ3 観察および介入的手法のうち、モデル内部の因果機構を最もよく解明するのはどれか？
• RQ4 機械的解釈可能性はAIの安全性とアラインメントにどのように関連するか？
• RQ5 大規模モデルへ機械的解釈可能性をスケールさせる際の主な課題と今後の方向性は何か？

主な発見

• 特徴はニューラル表現の基本単位として提案され、活性化空間の線形方向である可能性がある。
• ニューロンは単義意味・多義意味であり、重ね合わせによってより少ないニューロンで多くの特徴が表現される理由を説明できる。
• 回路は特徴と重みのサブグラフであり、モチーフはモデルやタスクを横断して普遍的である可能性のある繰り返しパターン。
• 世界モデルと内部シミュレーションはLLMに出現し得て、アラインメントと安全性に影響を与える。
• 線形表現仮説はプロービングとデコーディングの証拠によって裏付けられるが、非線形表現は依然として検討課題。
• 特徴と回路のモデル間・タスク間の普遍性は、解釈性と跨領域の洞察の指針として議論されている。

Figure 2 : Comparison of privileged and non-privileged basis in neural networks. Figure adapted from (Bricken et al., 2023 ) .