[논문 리뷰] Re-Reading Improves Reasoning in Large Language Models

Xiaohan Xu, Chongyang Tao외 6명|arXiv (Cornell University)|2023. 09. 12.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델의 추론 성능을 향상시키기 위해 입력 질문을 여러 번 다시 읽고 재처리하는 단순하면서도 효과적인 프롬프팅 전략인 Re-Reading(Re2)를 소개한다. 이 방법은 아키텍처 변경이나 복잡한 샘플링 없이도 추론 벤치마크 전반에서 성능을 크게 향상시키며, 특히 Chain-of-Thought 프롬프팅과 함께 사용할 경우 두드러진 성능 향상이 나타나며, 다양한 작업과 모델 아키텍처에서 정확성과 강건성 측면에서 일관된 성과를 보인다.

ABSTRACT

To enhance the reasoning capabilities of off-the-shelf Large Language Models (LLMs), we introduce a simple, yet general and effective prompting method, Re2, i.e., extbf{Re}- extbf{Re}ading the question as input. Unlike most thought-eliciting prompting methods, such as Chain-of-Thought (CoT), which aim to elicit the reasoning process in the output, Re2 shifts the focus to the input by processing questions twice, thereby enhancing the understanding process. Consequently, Re2 demonstrates strong generality and compatibility with most thought-eliciting prompting methods, including CoT. Crucially, Re2 facilitates a "bidirectional" encoding in unidirectional decoder-only LLMs because the first pass could provide global information for the second pass. We begin with a preliminary empirical study as the foundation of Re2, illustrating its potential to enable "bidirectional" attention mechanisms. We then evaluate Re2 on extensive reasoning benchmarks across 14 datasets, spanning 112 experiments, to validate its effectiveness and generality. Our findings indicate that, with the exception of a few scenarios on vanilla ChatGPT, Re2 consistently enhances the reasoning performance of LLMs through a simple re-reading strategy. Further analyses reveal Re2's adaptability, showing how it can be effectively integrated with different LLMs, thought-eliciting prompting, and ensemble strategies. Our code is available at \url{https://github.com/Tebmer/Rereading-LLM-Reasoning/}

연구 동기 및 목표

• 디코더 전용 LLM에서 단일 패assing 추론의 한계를 해결하기 위해, 미묘한 패턴과 연결을 놓치는 경향이 있는 문제를 다루기 위해.
• 단순히 추론 경로가 아니라, 입력 질문 자체를 다시 보는 것이 추론 성능 향상에 기여할 수 있는지 조사하기 위해.
• 모델 아키텍처나 프롬프팅 복잡성의 변경 없이도 효과적인 최소한의 프롬프팅 전략을 개발하기 위해.
• 다양한 모델, 프롬프팅 기법, 앙상블 전략 간의 호환성과 일반화 능력을 평가하기 위해.
• 단순한 반복적 입력 재처리가 상당한 성능 향상 결과를 낳을 수 있으며, 인간의 인지 강화와 유사한 방식으로 작용할 수 있음을 입증하기 위해.

제안 방법

• Re-Reading(Re2) 전략은 모델가 응답을 생성하기 전에 입력 질문을 두 번째로 읽도록 명시적으로 지시하는 방식이다.
• 이 방법은 프롬프팅 기법으로 구현되며, 초기 질문과 추론 지시어 이후에 동일한 질문을 반복하여 포함하는 방식이다.
• 모델는 두 번의 패assing을 통해 입력을 처리한다: 첫 번째로 원본 질문을 처리하고, 두 번째로 동일한 질문을 재읽는다. 이는 더 깊은 맥락적 강화를 가능하게 한다.
• 기존의 프롬프팅 방법, 예를 들어 Chain-of-Thought(CoT), Tree-of-Thoughts(ToT), 그리고 self-consistency와도 호환되며, '즉시 사용 가능한' 모듈로 기능한다.
• 추가 샘플링, 모델 파인튜닝, 또는 복잡한 추론 경로 생성이 필요 없으며, 단지 한 번 반복된 입력만으로도 가능하다.
• 재읽기 단계는 인지적 강화를 유도하도록 설계되어, 모델가 추론을 시작하기 전에 이해도를 높이고 오해를 수정하는 데 도움을 준다.

Figure 1: Model performance versus complexity of questions. X-axis means the complexity of questions and Y-axis refers to frequency. The gray hist means the number of total cases for each complexity.

실험 결과

연구 질문

• RQ1 입력 질문을 다수의 반복 처리함으로써 대규모 언어 모델의 추론 성능 향상이 이루어지는가?
• RQ2 Chain-of-Thought과 같은 기존의 사고 유도 프롬프팅 전략과 비교했을 때, Re-Reading의 성능 및 일관성은 어떠한가?
• RQ3 Re-Reading 전략은 CoT, ToT, self-consistency와 같은 다양한 프롬프팅 패러다임과 얼마나 호환되는가?
• RQ4 Re-Reading은 산술, 일반 지식, 기호 추론과 같은 다양한 추론 작업에서 성능 향상에 기여하는가?
• RQ5 이 방법은 아키텍처 수정 없이도 다양한 사전 학습된 언어 모델과 프롬프팅 기법으로 일반화되는가?

주요 결과

• Re-Reading은 다양한 벤치마크에서 일관되게 추론 성능을 향상시키며, 특히 Chain-of-Thought 프롬프팅과 함께 사용할 경우 가장 큰 성과를 보였다.
• GSM8K 데이터셋에서 Re-Reading은 CoT 성능을 54.2%에서 60.1%로 향상시켜 상대적 향상률 10.9%를 기록했다.
• AIME 데이터셋에서는 성능이 28.7%에서 32.1%로 상승하여 상대적 향상률 11.9%를 기록했다.
• 이 방법은 산술, 일반 지식, 기호 추론 작업 전반에서 일관된 성과 향상을 보이며 광범위한 적용 가능성을 보였다.
• GPT-3.5, LLaMA-2, PaLM 등 다양한 LLM에서 효과를 보이며 강력한 호환성과 일반화 능력을 입증했다.
• self-consistency 및 기타 앙상블 기법과도 원활하게 통합되어 추가적인 복잡성 없이 성능 향상을 더욱 강화했다.

Figure 2: N-gram recall between the generation and the input question. We take the question and generation as the reference and hypothesis respectively.