[논문 리뷰] WASD: Locating Critical Neurons as Sufficient Conditions for Explaining and Controlling LLM Behavior

Haonan Yu, Junhao Liu외 3명|arXiv (Cornell University)|2026. 03. 19.

Explainable Artificial Intelligence (XAI)인용 수 0

한 줄 요약

이 논문은 큰 언어 모델의 동작을 설명하고 제어하기 위한 충분조건으로 작용하는 중요한 뉴런을 찾아내는 것을 제안한다.

ABSTRACT

Precise behavioral control of large language models (LLMs) is critical for complex applications. However, existing methods often incur high training costs, lack natural language controllability, or compromise semantic coherence. To bridge this gap, we propose WASD (unWeaving Actionable Sufficient Directives), a novel framework that explains model behavior by identifying sufficient neural conditions for token generation. Our method represents candidate conditions as neuron-activation predicates and iteratively searches for a minimal set that guarantees the current output under input perturbations. Experiments on SST-2 and CounterFact with the Gemma-2-2B model demonstrate that our approach produces explanations that are more stable, accurate, and concise than conventional attribution graphs. Moreover, through a case study on controlling cross-lingual output generation, we validated the practical effectiveness of WASD in controlling model behavior.

연구 동기 및 목표

• 해석 가능하고 제어 가능한 LLM의 필요성을 동기 부여한다.
• 행동 설명을 위한 충분조건으로서의 'critical neurons' 개념을 정의한다.
• LLM 아키텍처 내에서 이러한 뉴런을 찾는 방법을 제시한다.
• 확인된 뉴런이 모델 출력 및 제어 가능성과 어떤 관련이 있는지 평가한다.
• 안전하고 신뢰할 수 있는 AI 배포에 대한 잠재적 함의를 강조한다.

제안 방법

• 설명을 위한 충분조건으로 작용하는 뉴런을 위치시키기 위한 WASD 프레임워크를 도입한다.
• 특정 행동이나 출력과 상관관계가 있는 뉴런을 식별하는 기술을 설명한다.
• 충분성의 기준과 모델 행동에 대한 인과적 영향을 테스트하는 방법을 개략적으로 제시한다.
• 데이터 수집에서 뉴런 식별 및 테스트까지의 절차적 워크플로우를 제공한다.
• LLMs에 이 방법을 적용하기 위한 이론적 및 실용적 고찰을 논의한다.

실험 결과

연구 질문

• RQ1 LLM 뉴런 활성화 맥락에서 충분조건은 무엇인가?
• RQ2 확인된 중요한 뉴런이 특정 LLM 행동을 인과적으로 설명하고 제어할 수 있는가?
• RQ3 WASD로 국소화된 뉴런을 사용해 모델 출력 예측이나 수정이 가능한가?
• RQ4 식별된 뉴런을 조작하는 데 따른 한계와 안전성 함의는 무엇인가?

주요 결과

• 제공된 발췌문에 제시되지 않았다.
• 가용 텍스트에 정량적 결과가 기술되어 있지 않다.
• 발췌문에 구체적인 결론이나 실험 결과가 포함되어 있지 않다.
• 발췌문에는 요약할 상세한 발견이 포함되어 있지 않다.