[논문 리뷰] Interpreting Transformers Through Attention Head Intervention

Mason Kadem, Rong Zheng|arXiv (Cornell University)|2026. 01. 07.

Embodied and Extended Cognition인용 수 0

한 줄 요약

논문은 트랜스포머를 이해하기 위한 인과적 방법으로 주의 헤드 개입을 추적하고, 시각화에서 차용된 제거(abl)으로의 전환을 검토하며, 헤드 수준의 개입이 모델 동작을 제어할 수 있는 방법을 논의하되 분포 변화와 다의성 같은 한계를 지적한다.

ABSTRACT

Neural networks are growing more capable on their own, but we do not understand their neural mechanisms. Understanding these mechanisms' decision-making processes, or mechanistic interpretability, enables (1) accountability and control in high-stakes domains, (2) the study of digital brains and the emergence of cognition, and (3) discovery of new knowledge when AI systems outperform humans. This paper traces how attention head intervention emerged as a key method for causal interpretability of transformers. The evolution from visualization to intervention represents a paradigm shift from observing correlations to causally validating mechanistic hypotheses through direct intervention. Head intervention studies revealed robust empirical findings while also highlighting limitations that complicate interpretation. Recent work demonstrates that mechanistic understanding now enables targeted control of model behaviour, successfully suppressing toxic outputs and manipulating semantic content through selective attention head intervention, validating the practical utility of interpretability research for AI safety.

연구 동기 및 목표

• 메커니즘적 해석 가능성을 고유한 해석 가능성과 사후적 해석 가능성과 구분하여 명확히 한다.
• 트랜스포머에 대한 주의 시각화에서 인과적 헤드 개입으로의 전환을 추적한다.
• 헤드 특화, 중복성, 상호 작용에 관한 주요 경험적 결과를 요약한다.
• 모델 제어와 안전을 위한 헤드 개입의 실용적 용도를 논의한다.

제안 방법

• 헤드 필요성을 시험하기 위한 인과적 개입으로 주의 헤드 절제(ablation)를 설명한다.
• 충실성, 타당성, 그리고 검증 가능한 기준들(포괄성, 충분성, 불변성)에 관한 기초 연구를 검토하고 종합한다.
• 설명들의 충실성을 확립하기 위해 절제 방식과 시각화 및 기타 귀속 방법을 비교한다.
• 필수 헤드를 식별하기 위한 제로 제거나 평균(mean)과 학습 기반 가지치기( pruning) 같은 절제의 변형들을 논의한다.
• 모델 동작의 제어된 조작을 보여주는 실용적 응용(예: 독성 감소)을 강조한다.

실험 결과

연구 질문

• RQ1 개별 주의 헤드가 트랜스포머 결정에서 어떤 인과적 역할을 하는가?
• RQ2 헤드 간 특화와 중복성이 어떻게 강건성과 해석가능성의 균형을 이루는가?
• RQ3 헤드 수준의 개입이 충실한 설명을 제공하고 모델 동작에 대한 실용적 제어를 가능하게 할 수 있는가?
• RQ4 헤드 절제가 해석 가능성 방법으로서 제약하는 주요 한계(분포 변화, 다의성)는 무엇인가?
• RQ5 헤드 기능의 이해가 어느 정도까지 안전하고 타깃된 개입을 모델에 가능하게 할 수 있는가?

주요 결과

• 주의 헤드가 언어 및 의미 작업에 대해 기능적 특화를 보이며, 일부 헤드는 특정 패턴을 처리한다.
• 여러 헤드를 제거해도 태스크에 미치는 영향이 미미하여 강건성을 시사한다.
• 헤드 절제는 시각화나 롤아웃 방식의 상관관계를 넘어 인과적 증거(충실성)를 제공한다.
• 특화된 헤드를 식별하고 조작하여 시맨틱 차원에 따라 출력에 변화를 주어 타깃 제어를 가능하게 한다(예: 독성 감소).
• 헤드 간의 계층적 조직과 음의 상호작용이 나타나며, 단순한 일대일 매핑을 넘어서는 복잡한 헤드 간 역동성을 강조한다.
• 비교 결과 절제 기반 설명이 상관관계 기반 방법보다 더 충실하다는 것을 보여주며, 분포 변화와 다의성 같은 과제는 여전히 남아 있다.