[논문 리뷰] Towards a Mechanistic Interpretation of Multi-Step Reasoning Capabilities of Language Models

Yifan Hou, Jiaoda Li외 6명|arXiv (Cornell University)|2023. 10. 23.

Topic Modeling인용 수 1

한 줄 요약

이 논문은 언어 모델 내부의 암묵적인 추론 트리 구조를 분석함으로써 주로 주의 메커니즘 패턴을 기반으로 하는 새로운 주의 기반 탐지 방법인 MechanisticProbe를 소개한다. 이 방법은 합성 및 자연어 추론 작업을 통해 GPT-2와 LLaMA에서 추론 구조를 성공적으로 복원하며, 모델이 암기된 답변을 통해가 아니라 기계적 메커니즘을 통해 다단계 추론을 수행한다는 것을 입증한다.

ABSTRACT

Recent work has shown that language models (LMs) have strong multi-step (i.e., procedural) reasoning capabilities. However, it is unclear whether LMs perform these tasks by cheating with answers memorized from pretraining corpus, or, via a multi-step reasoning mechanism. In this paper, we try to answer this question by exploring a mechanistic interpretation of LMs for multi-step reasoning tasks. Concretely, we hypothesize that the LM implicitly embeds a reasoning tree resembling the correct reasoning process within it. We test this hypothesis by introducing a new probing approach (called MechanisticProbe) that recovers the reasoning tree from the model's attention patterns. We use our probe to analyze two LMs: GPT-2 on a synthetic task (k-th smallest element), and LLaMA on two simple language-based reasoning tasks (ProofWriter & AI2 Reasoning Challenge). We show that MechanisticProbe is able to detect the information of the reasoning tree from the model's attentions for most examples, suggesting that the LM indeed is going through a process of multi-step reasoning within its architecture in many cases.

연구 동기 및 목표

• 대규모 언어 모델(LMs)이 내부 기계적 과정을 통해 다단계 추론을 수행하는지, 아니면 암기된 답변을 회상함으로써 수행하는지 조사한다.
• 언어 모델의 추론에 대한 모호함을 해결한다: 모델은 절차적 논리에 따라 작동하는가, 아니면 사전학습 단계에서의 단순화된 전략에 의존하는가?
• 언어 모델이 주의 메커니즘 내에서 추론 단계를 어떻게 인코딩하고 실행하는지 기계적 해석 방법을 개발한다.
• 주의 패턴이 랜덤한 주의 흐름이 아니라 구조화된 추론 트리를 반영한다는 것을 검증한다.
• 정확한 추론 트리 복원이 모델의 강건성 및 성능 향상과 상관이 있음을 입증한다.

제안 방법

• 주의 패턴에서 추론 트리의 복원을 위한 이중 단계 비모수적 탐지 프레임워크인 MechanisticProbe를 제안한다.
• 첫 번째 단계: 주의 패턴을 사용하여 추론 트리 내 유용한 입력 문장(노드)을 식별한다.
• 두 번째 단계: 주의 흐름으로부터 추론 과정의 계층적 구조(트리 높이)를 유추한다.
• 간단한 분류기들을 사용하여 필요한 추론 노드와 그들의 추론 체인 내 상대적 위치를 탐지한다.
• GPT-2에 대해 합성된 k번째로 작은 원소 작업과, LLaMA에 대해 ProofWriter 및 ARC 작업에 탐지를 적용한다.
• 주의 헤드를 잘라내는 아블레이션 및 탐지 점수와 모델의 강건성 간 상관 분석을 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 언어 모델은 내부 기계적 과정을 통해 다단계 추론을 수행하는가, 아니면 암기된 답변에 의존하는가?
• RQ2 언어 모델의 주의 패턴이 올바른 논리 유도를 반영하는 구조화된 추론 트리를 인코딩할 수 있는가?
• RQ3 모델의 추론 과정이 예측 정확도 및 강건성과 어느 정도 상관이 있는가?
• RQ4 추론 트리 복원에 기여하는 주의 헤드는 정확한 예측을 위해 필수적인가?
• RQ5 탐지 점수는 입력 노이즈에 대한 모델 강건성 예측에 사용될 수 있는가?

주요 결과

• MechanisticProbe는 다양한 작업에서 GPT-2와 LLaMA의 주의 패턴으로부터 추론 트리를 성공적으로 복원한다.
• 모델은 특히 하층부에서 네트워크 초반에 유용한 입력 문장을 조기에 식별하며, 이는 단계적 추론 과정을 지지한다.
• MechanisticProbe가 식별한 주의 헤드를 잘라내면 정확도가 심각하게 저하되며, 이는 그 기능적 중요성을 확인한다.
• 탐지 점수(즉, 더 나은 추론 트리 복원)가 높은 모델일수록 입력 노이즈에 더 강건하며, 탐지 점수 SP2가 높을 경우 시험 정확도가 약 4% 향상된다.
• 높은 탐지 점수를 가진 예시는 더 높은 예측 신뢰도를 보이며 입력 손상에 더 강건한 편이다. 이는 기계적 추론이 신뢰성을 향상시킨다는 것을 시사한다.
• 이 방법은 언어 모델의 주의 메커니즘이 단순한 연상적 회상 외에도 절차적 추론을 지원하도록 구조화되어 있음을 드러낸다.