[논문 리뷰] Text and Patterns: For Effective Chain of Thought, It Takes Two to Tango

Aman Madaan, Amir Yazdanbakhsh|arXiv (Cornell University)|2022. 09. 16.

Topic Modeling인용 수 21

한 줄 요약

본 논문은 반사실적 프롬프팅(counterfactual prompting)을 활용해 체인 오브 사유(chain-of-thought) 프롬프팅을 해부하고, 텍스트와 패턴의 공생적 역할을 보여주며 성능을 유지하면서 프롬프트를 다듬기 위해 CCOT를 도입한다.

ABSTRACT

The past decade has witnessed dramatic gains in natural language processing and an unprecedented scaling of large language models. These developments have been accelerated by the advent of few-shot techniques such as chain of thought (CoT) prompting. Specifically, CoT pushes the performance of large language models in a few-shot setup by augmenting the prompts with intermediate steps. Despite impressive results across various tasks, the reasons behind their success have not been explored. This work uses counterfactual prompting to develop a deeper understanding of CoT-based few-shot prompting mechanisms in large language models. We first systematically identify and define the key components of a prompt: symbols, patterns, and text. Then, we devise and conduct an exhaustive set of experiments across four different tasks, by querying the model with counterfactual prompts where only one of these components is altered. Our experiments across three models (PaLM, GPT-3, and CODEX) reveal several surprising findings and brings into question the conventional wisdom around few-shot prompting. First, the presence of factual patterns in a prompt is practically immaterial to the success of CoT. Second, our results conclude that the primary role of intermediate steps may not be to facilitate learning how to solve a task. The intermediate steps are rather a beacon for the model to realize what symbols to replicate in the output to form a factual answer. Further, text imbues patterns with commonsense knowledge and meaning. Our empirical and qualitative analysis reveals that a symbiotic relationship between text and patterns explains the success of few-shot prompting: text helps extract commonsense from the question to help patterns, and patterns enforce task understanding and direct text generation.

연구 동기 및 목표

• 소수 샷 프롬프트의 핵심 의미 구성요소 식별: 기호, 패턴, 그리고 텍스트.
• 여러 작업과 LLM들에 걸쳐 반사실적 프롬프트를 사용해 각 구성요소의 역할을 실험적으로 고립시키다.
• 텍스트와 패턴이 체인 오브 사유 성공에 미치는 상호 의존적 영향을 입증하다.
• 성능을 유지하거나 향상시키면서 약 20% 정도 토큰 수를 줄이는 간결한 프롬프트 스킴 CCOT를 제안하다.

제안 방법

• 세 가지 의미적 프롬프트 구성요소를 정의하다: 기호, 패턴, 그리고 텍스트.
• 영향을 측정하기 위해 한 번에 하나의 구성요소만 변경하는 반사실적 프롬프트를 설계하다.
• PaLM-62B, GPT-3, CODEX에서 네 가지 추론 작업에 대해 프롬프트를 평가하다.
• 다른 프롬프트에서 추론 메커니즘을 이해하기 위해 어텐션 패턴을 분석하다.

실험 결과

연구 질문

• RQ1 체인 오브 사유 프롬프팅의 성공에서 기호, 패턴, 텍스트의 역할은 무엇인가?
• RQ2 각 구성요소에 대한 반사실적 변화가 작업과 모델 전반에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 간결한 프롬프트 접근 방식이 프롬프트 길이를 줄이면서도 성능을 유지할 수 있는가(CCOT)?
• RQ4 텍스트-패턴 상호작용이 대형언어모델(LLM)의 소수 예시 추론 효능을 어떻게 설명하는가?

주요 결과

• 정확한 기호의 유형은 성능에 사실상 영향을 주지 않는다; 추상적인 플레이스홀더가 효과적일 수 있다.
• 패턴은 필요하지만 충분하지 않다; 패턴이 없으면 COT의 성능이 떨어지고 때때로 직접 프롬프트로 악화된다.
• 텍스트는 상식과 의미를 제공하여 패턴이 생성 지시를 가능하게 하는 데 필수적이다.
• 텍스트와 패턴은 상호의존적 관계를 형성하여 COT 성공을 대체로 설명하며, 각자가 보완적 정보를 제공한다.
• CCOT는 대략 20%의 토큰 사용을 줄이면서도 문제 해결률에 해를 끼치지 않거나 때로는 향상시킨다.