[논문 리뷰] Overthinking the Truth: Understanding how Language Models Process False Demonstrations

Danny Halawi, Jean-Stanislas Denain외 1명|arXiv (Cornell University)|2023. 07. 18.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 few-shot 학습에서 언어 모델이 잘못된 예시를 잘못 따라하는 방식을 조사하며, 두 가지 핵심 현상을 밝혀냈다: '과도한 고민'(overthinking) — 잘못된 예시를 제공받은 후 특정 층을 넘어서 성능이 악화되는 현상과, '가짜 유도 헤드'(false induction heads) — 후기 층의 특정 어텐션 헤드로, 잘못된 패턴을 복사하는 현상이다. 이러한 헤드를 제거하면 14개의 데이터셋 평균으로 유해한 따라하기를 38.9% 감소시킬 수 있으며, 이는 정확한 예시에 대한 성능에 해를 끼치지 않는다.

ABSTRACT

Modern language models can imitate complex patterns through few-shot learning, enabling them to complete challenging tasks without fine-tuning. However, imitation can also lead models to reproduce inaccuracies or harmful content if present in the context. We study harmful imitation through the lens of a model's internal representations, and identify two related phenomena: "overthinking" and "false induction heads". The first phenomenon, overthinking, appears when we decode predictions from intermediate layers, given correct vs. incorrect few-shot demonstrations. At early layers, both demonstrations induce similar model behavior, but the behavior diverges sharply at some "critical layer", after which the accuracy given incorrect demonstrations progressively decreases. The second phenomenon, false induction heads, are a possible mechanistic cause of overthinking: these are heads in late layers that attend to and copy false information from previous demonstrations, and whose ablation reduces overthinking. Beyond scientific understanding, our results suggest that studying intermediate model computations could be a promising avenue for understanding and guarding against harmful model behaviors.

연구 동기 및 목표

• 언어 모델이 잘못된 few-shot 예시에서 오류를 어떻게 재생산하는지 이해하는 것.
• LLM에서 해로운 컨텍스트 따르기 행동을 유도하는 내부 메커니즘을 조사하는 것.
• 모델 추론 중에 잘못된 따라하기가 언제, 어디서 발생하는지 규명하는 것.
• 오류 패턴을 확산시키는 데 책임이 있는 특정 어텐션 헤드를 식별하는 것.
• 이러한 헤드를 제거하면 정확한 작업에 대한 성능에 영향을 주지 않으면서도 해로운 따라하기를 줄일 수 있는지 평가하는 것.

제안 방법

• 다양한 NLP 작업에서 정확한 vs. 잘못된 few-shot 예시를 사용해 모델 행동을 대조 분석하는 방법.
• 중간 잔여 스트림 층에서 디코딩하여 추론 중 예측 정확도가 어떻게 변화하는지 추적하는 방법.
• 정확한 예시와 잘못된 예시 간 성능이 급격히 갈리는 '비판적 층'(critical layer)를 특정하는 방법.
• 활성화 패치링과 어텐션 헤드 제거를 통해 특정 헤드의 영향을 고립하고 테스트하는 방법.
• 모든 층에서 校정된 정확도를 측정하여 과도한 고민과 간섭 조치의 영향을 정량화하는 방법.
• SST-2, Financial-Phrasebank, TweetEval 등을 포함한 14개의 다양한 데이터셋에서 결과를 검증하는 방법.

실험 결과

연구 질문

• RQ1 정확한 예시와 잘못된 예시를 제공받았을 때, 추론의 어느 단계에서 성능이 갈리기 시작하는가?
• RQ2 예시에서 오는 오류 패턴을 확산시키는 데 책임이 있는 모델의 내부 구성 요소는 무엇인가?
• RQ3 초기 층 간섭이나 어텐션 헤드 제거가 잘못된 예시에 대한 성능에 영향을 주지 않으면서도 해로운 따라하기를 줄일 수 있는가?
• RQ4 추론 중에 모델의 정확성에 대한 내부 표현이 층을 거치며 어떻게 변화하는가?
• RQ5 '가짜 유도 헤드'를 식별하고 제거하면 과도한 고민을 어느 정도 줄일 수 있고, 모델의 내성적 강건성가 향상되는가?

주요 결과

• 모델는 '과도한 고민'(overthinking)을 보이며, 잘못된 예시에 대해 특정 층 이후 성능이 악화되는 반면, 정확한 예시에 대해서는 성능이 향상되어, 오류를 수정하지 못하는 후기 단계의 실패를 나타낸다.
• 성능이 갈리는 비판적 층은 이미 초기 표현이 형성된 후에 발생하므로, 초기 처리 과정은 예시의 질에 대해 강건함을 시사한다.
• 가짜 유도 헤드 — 후기 층의 어텐션 헤드로, 예시에서 잘못된 정보를 주시하고 복사하는 것으로, 과도한 고민의 주요 기계적 원인이다.
• 단지 5개의 이러한 헤드(전체 헤드의 1%)를 제거하기만 해도 14개의 데이터셋 평균으로 정확도 격차가 38.9% 감소한다.
• 동일한 간섭 조치는 정확한 예시에 대해 성능에 거의 영향을 주지 않아, 해로운 행동에 대한 타겟된 완화가 가능함을 시사한다.
• 연구 결과는 중간 단계의 모델 계산이 이해 가능성과 안전성 간섭의 타당한 대상이 될 수 있음을 시사하며, 향후 연구에서는 이러한 통찰을 활용해 프롬프트 주입 공격를 탐지하는 데 적용하고 있다.