[논문 리뷰] Solving Math Word Problems via Cooperative Reasoning induced Language Models

Xinyu Zhu, Junjie Wang외 5명|arXiv (Cornell University)|2022. 10. 28.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 인간의 双중과정인지(이중과정인지)를 모방하여 추론 경로 생성을 담당하는 생성기(시스템 1)와 추론 중 단계별 피드백을 제공하는 검증기(시스템 2)를 결합한 협동적 추론 프레임워크 CoRe를 제안한다. 몬테카를로 트리 검색(MCTS)에 영향을 받은 루프 내에서 토큰 수준 및 문장 수준의 검증기를 통합함으로써 CoRe는 추론 품질을 향상시키고, MultiArith에서 최신 기준 모델 대비 최대 9.6%의 상대적 향상을 달성한다. 이는 더 작은 모델을 사용함에도 불구하고 가능하다.

ABSTRACT

Large-scale pre-trained language models (PLMs) bring new opportunities to challenging problems, especially those that need high-level intelligence, such as the math word problem (MWPs). However, directly applying existing PLMs to MWPs can fail as the generation process lacks sufficient supervision and thus lacks fast adaptivity as humans. We notice that human reasoning has a dual reasoning framework that consists of an immediate reaction system (system 1) and a delicate reasoning system (system 2), where the entire reasoning is determined by their interaction. This inspires us to develop a cooperative reasoning-induced PLM for solving MWPs, called Cooperative Reasoning (CoRe), resulting in a human-like reasoning architecture with system 1 as the generator and system 2 as the verifier. In our approach, the generator is responsible for generating reasoning paths, and the verifiers are used to supervise the evaluation in order to obtain reliable feedback for the generator. We evaluate our CoRe framework on several mathematical reasoning datasets and achieve decent improvement over state-of-the-art methods, up to 9.6% increase over best baselines. Our codes are available at https://github.com/TianHongZXY/CoRe

연구 동기 및 목표

• 기존의 대규모 언어 모델(LLM)이 수학 단어 문제(MWP)를 해결할 때 일반화 및 적응 능력에 빈도를 보이는 문제를 해결하기 위해.
• 신경 모델에서 인간의 이중과정인지—빠른 직관(시스템 1)과 성찰적 검증(시스템 2)을 모방하기 위해.
• 최종 답변 단계가 아닌 생성 과정 중 피드백을 도입하여 추론 경로의 품질을 향상시키기 위해.
• 자기 생각(self-thinking) 전략을 통해 외부 감독 없이도 고품질의 자기학습 추론 경로를 제공함으로써 zero-shot 및 미세조정 가능한 추론을 가능하게 하기 위해.

제안 방법

• 프레임워크는 토큰 단위로 추론 경로를 생성하는 생성기(시스템 1)를 사용하며, 이를 확률적 결정의 시퀀스로 모델링한다.
• 실시간 생성 과정에서 추론 단계를 평가하기 위해 토큰 수준 및 문장 수준의 두 가지 유형의 검증기를 도입한다.
• 검증기가 MCTS 스타일의 트리 탐색을 통해 피드백을 제공함으로써, 고품질의 추론 경로를 동적으로 평가하고 선택할 수 있도록 한다.
• 생성 과정에서 논리적 일관성과 정확성 양쪽을 고려하기 위해 추론 경로의 난이도와 해답 점수를 조합한 학습 목표를 설정한다.
• CoRe의 자체 생성기와 검증기를 사용해 합성 데이터를 생성함으로써 외부 감독 없이도 추론 능력을 향상시키는 자기 생각 전략을 적용한다.
• 피드백이 검증기에서 유입되는 폐쇄형 생성 프로세스를 운영하며, 이는 추론 경로 최종 결정 이전에 검증기의 피드백이 생성기를 반복적으로 이끌도록 한다.

실험 결과

연구 질문

• RQ1 인간의 이중과정인지 사고 방식을 모방하는 협동적 추론 프레임워크가 수학 단어 문제 해결 성능을 향상시킬 수 있는가?
• RQ2 추론 경로 생성 과정 중 실시간 피드백이 최종 시퀀스 평가 대비 일반화 및 정확도에 어떤 영향을 미치는가?
• RQ3 이러한 협동적 검증 메커니즘을 통해 소규모 언어 모델이 훨씬 큰 모델을 능가할 수 있는가?
• RQ4 모델이 생성한 데이터를 기반으로 한 자기 생각 전략이 대규모 애너테이션 데이터셋이 없이도 추론 능력을 향상시킬 수 있는가?

주요 결과

• CoRe는 MultiArith 데이터셋에서 기존 최고 성능 모델 대비 9.6%의 상대적 향상을 달성하여, 더 작은 모델을 사용함에도 불구하고 강력한 일반화 능력을 입증한다.
• 여러 수학 추론 데이터셋에서 zero-shot 및 미세조정 설정 모두에서 표준 PLM보다 뚜렷한 성능 향상을 보였다.
• 토큰 수준 및 문장 수준의 검증기 통합은 잘못된 추론 경로를 조기에 탐지함으로써 최종 답변의 정확성에만 의존하는 것에서 벗어나게 한다.
• 자기 생각 전략은 모델이 자신의 추론 오류를 수정할 수 있도록 하며, 정성적 사례를 통해 이를 입증하였다.
• 이 방법은 다양한 데이터셋으로 일반화 가능하다: 예측되지 않은 산술 데이터셋에서의 zero-shot 성능은 추론 능력의 이식 가능성을 확인한다.
• GSM8K에서 단지 7.5K개의 훈련 샘플만으로도 CoRe는 강력한 추론 이식 능력을 보이며, 이는 추론 작업 적응에 있어 낮은 데이터 효율성을 시사한다.