[논문 리뷰] Recursion of Thought: A Divide-and-Conquer Approach to Multi-Context Reasoning with Language Models

Soochan Lee, Gunhee Kim|arXiv (Cornell University)|2023. 06. 12.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델이 고정된 컨텍스트 길이를 초월하여 복잡한 추론 문제를 해결할 수 있도록 하는 모델에 종속되지 않는 추론 프레임워크인 사고의 재귀(Recursion of Thought, RoT)를 소개한다. RoT는 특수 토큰(GO, STOP, THINK)을 사용하여 작업을 다중 하위컨텍스트로 반복적으로 분할함으로써 이를 달성한다. GPT-3와 같은 모델이 수십만 개의 추론 토큰이 필요한 문제를 해결할 수 있도록 하며, 표준 컨텍스트 제한을 훨씬 초월한 산술 및 알고리즘 작업에서 거의 완벽한 정확도를 보여준다.

ABSTRACT

Generating intermediate steps, or Chain of Thought (CoT), is an effective way to significantly improve language models' (LM) multi-step reasoning capability. However, the CoT lengths can grow rapidly with the problem complexity, easily exceeding the maximum context size. Instead of increasing the context limit, which has already been heavily investigated, we explore an orthogonal direction: making LMs divide a problem into multiple contexts. We propose a new inference framework, called Recursion of Thought (RoT), which introduces several special tokens that the models can output to trigger context-related operations. Extensive experiments with multiple architectures including GPT-3 show that RoT dramatically improves LMs' inference capability to solve problems, whose solution consists of hundreds of thousands of tokens.

연구 동기 및 목표

• 복잡하고 다단계의 추론 문제를 해결할 때 대규모 언어 모델의 고정된 컨텍스트 길이에 기인한 핵심적 제약을 해결하기 위해.
• 표준 컨텍스트 창을 초월해 수십만 개의 토큰이 필요한 추론을 요구하는 추론 작업을 언어 모델이 해결할 수 있도록 하기 위해.
• 아키텍처 변경이나 작업 전용 도구가 필요 없는 모델에 종속되지 않는 추론 프레임워크를 제안하기 위해.
• 단일 컨텍스트 생성의 제약을 초월해 확장 가능한 분할-정복 전략을 통한 추론을 탐색하기 위해.

제안 방법

• 세 가지 특수 토큰을 도입: GO(문제 시작), STOP(문제 종료), THINK(새로운 컨텍스트로의 재귀를 유도함).
• 각 추론 컨텍스트를 메인 문제 및 하위 문제의 질문과 답변의 연결으로 구성하며, 계층적 분해를 위해 중첩된 GO-STOP 쌍을 사용함.
• THINK 토큰을 사용해 재귀적 추론 프로세스를 시작함으로써, 각 하위문제에 대해 새로운 컨텍스트를 생성하면서도 메인 문제의 컨텍스트를 유지함.
• 하위문제를 독립적으로 해결하고 그 결과를 메인 솔루션 흐름에 통합하는 재귀적 생성 전략을 활용함.
• 초장거리 추론을 평가하기 위해 조정 가능한 극도로 어려운(예: 64자리 산술) 산술 및 알고리즘 작업 8개로 구성된 합성 벤치마크를 설계함.
• 외부 도구 없이도 확장 가능하고 다중 컨텍스트 추론이 가능한, 특수 토큰을 전략적으로 생성하도록 모델을 엔드 투 엔드로 훈련함.

실험 결과

연구 질문

• RQ1 언어 모델은 자가 생성한 특수 토큰만을 사용하여 컨텍스트 창을 훨씬 초월하는 길이의 해결 과정이 필요한 추론 문제를 해결할 수 있는가?
• RQ2 THINK 토큰을 통한 재귀적 분해 전략이 10만 토큰 이상의 추론 단계를 포함하는 문제를 처리하는 데 얼마나 효과적인가?
• RQ3 RoT 프레임워크는 초장거리 추론 작업에서 표준 체인 오브 토우크(Chain-of-Thought, CoT) 및 기본 프롬프팅(WT)보다 뛰어나게 성능을 내는가?
• RQ4 RoT는 작업 전용 적응이 없이도 산술, 동적 프로그래밍, 문자열 연산 등 다양한 추론 유형에 일반화 가능한가?
• RQ5 극도로 장거리 문제에서 RoT의 성능 한계는 무엇이며, 모델 크기와 아키텍처에 따라 어떻게 스케일링되는가?

주요 결과

• RoT는 8자리 및 16자리 덧셈과 뺄셈 작업에서 100% 정확도를 달성했으며, 이는 추론 단계가 10만 토큰을 초월하는 경우에도 동일하게 유지된다.
• 64자리 덧셈과 뺄셈 작업에서는 RoT가 100% 정확도를 유지하지만, 표준 CoT는 완전히 실패(0% 정확도)함으로써 RoT의 확장성의 우수함을 입증한다.
• 곱셈 및 나눗셈 작업에서는 RoT가 32자리 문제에서 99.9% 정확도를 기록했으며, CoT 및 WT 기준선보다 뚜렷이 뛰어나다.
• LCS(가장 긴 공통 부분 수열) 및 LPS(가장 긴 팰린드롬 부분 수열)와 같은 알고리즘 문제에서는 RoT가 길이 32까지 100% 정확도를 유지하지만, CoT는 길이 12를 초월하면 실패한다.
• 0-1 Knapsack 및 Matrix Chain Multiplication(MCM) 문제에서는 RoT가 소규모 인스턴스에서 100% 정확도를 달성했으며, LPS(56개 요소)에서는 99.8%의 높은 성능을 유지하여 기준선을 크게 초월한다.
• LSTM 기반 모델의 경우에도 RoT는 12자리 덧셈에서 98.6% 정확도를 기록했으며, CoT는 완전히 실패함으로써 다양한 아키텍처 간의 강건성을 입증한다.