[논문 리뷰] Open Problems in Mechanistic Interpretability

Lee Sharkey, Bilal Chughtai외 27명|ArXiv.org|2025. 01. 27.

Natural Language Processing Techniques인용 수 5

한 줄 요약

원향: 기계적 해석 가능성의 개방적 문제를 역공학, 개념 기반 방법, 파이프라인 자동화에 중점을 두고 제시하는 미래 지향적 검토입니다.

ABSTRACT

Mechanistic interpretability aims to understand the computational mechanisms underlying neural networks' capabilities in order to accomplish concrete scientific and engineering goals. Progress in this field thus promises to provide greater assurance over AI system behavior and shed light on exciting scientific questions about the nature of intelligence. Despite recent progress toward these goals, there are many open problems in the field that require solutions before many scientific and practical benefits can be realized: Our methods require both conceptual and practical improvements to reveal deeper insights; we must figure out how best to apply our methods in pursuit of specific goals; and the field must grapple with socio-technical challenges that influence and are influenced by our work. This forward-facing review discusses the current frontier of mechanistic interpretability and the open problems that the field may benefit from prioritizing.

연구 동기 및 목표

• 신경망의 일반화 이해에서 기계적 해석 가능성이 달성하고자 하는 바를 명확히 한다.
• 현재 방법(역공학 및 개념 기반 해석 가능성)과 그들의 개방 문제를 조사한다.
• 회로 발견의 절차화 및 해석 가능성 연구의 자동화를 위한 실용적 단계를 식별한다.
• 감시 안전, 행동 제어, 모델 능력 예측과 같은 적용 주도 목표를 논의한다.
• 기계적 해석 가능성과 관련된 사회기술 및 거버넌스 이슈를 다룬다.

제안 방법

• 네트워크 구성요소의 역할 식별을 위한 분해, 기술화, 검증을 통해 역공학으로서의 역할을 논의한다.
• 주어진 역할을 위한 구성요소를 개념과 프로브를 통해 식별하는 것으로서의 개념 기반 해석 가능성을 논의한다.
• 차원 축소, 희소 사전 학습(SDL) 등의 분해 방법과 그 한계를 평가한다.
• 해석 가능성의 근거로서 선형 표현 가설과 희소성의 비판적 분석을 수행한다.
• 회로 발견 파이프라인 및 자동화 경로로 기계적 해석 가능성을 절차화하는 방안을 제안한다.

Figure 1 : Two approaches to neural network interpretability. (Left) Reverse Engineering is characterized by decomposing networks into functional components and describing how those components interact to produce the network’s behavior. It thus aims to ‘identify the roles of network components’ ( Se

실험 결과

연구 질문

• RQ1 네트워크 구성요소의 역할 식별을 위한 방법과 기초 이론의 주요 개방 문제는 무엇인가?
• RQ2 지정된 개념에 대한 네트워크 구성요소를 신뢰성 있게 식별하는 데 있어 개념 기반 프로브의 한계는 무엇인가?
• RQ3 기계적 해석 가능성을 회로 발견 파이프라인과 자동화된 워크플로우로 절차화하려면 어떻게 해야 하는가?
• RQ4 AI 시스템의 모니터링, 제어, 능력 예측에 기계적 해석 가능성을 적용하는 데 있어 주요 도전과 기회는 무엇인가?
• RQ5 기계적 해석 가능성을 발전시키면서 제기되는 사회기술적 및 거버넌스 이슈는 무엇인가?

주요 결과

• SDL은 가장 널리 사용되는 비감독적 분해 방법이지만 실질적 및 개념적 한계가 크다.
• 많은 분해들은 선형 표현 가설에 의존하는데, 이는 모든 모델에서 보편적으로 타당하지 않다.
• SDL은 해석 가능성의 대리로서 희소성을 가정하지만, 특징 분할, 흡수 및 구성으로 인해 항상 그렇지는 않다.
• 현재의 분해 방법은 근본적인 메커니즘을 직접적으로 드러내지 못하고 활성화를 식별하며 정확한 기작은 밝히지 못한다.
• 표현은 뉴런이나 층을 넘어 아키텍처 구성요소 전체에 분산될 수 있어 분해를 더 복잡하게 만든다.
• 향상된 이론적 기초와 아키텍처 인지적 분해 방법의 필요성이 있다.

Figure 2 : The steps of reverse engineering neural networks. (1) Decomposing a network into simpler components. This decomposition might not necessarily use architecturally-defined bases, such as individual neurons or layers ( Section ˜ 2.1.2 ). (2) Hypothesizing about the functional roles of some o