[논문 리뷰] MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning

Zhenwen Liang, Dian Yu외 5명|arXiv (Cornell University)|2023. 07. 16.

Natural Language Processing TechniquesComputer Science인용 수 3

한 줄 요약

MinT는 다양한 데이터셋 간의 annotation 형식을 서로 다른 '보기'로 간주하고, 이에 맞는 지침을 사용해 다양한 형식으로 해결책을 생성하도록 모델를 훈련시키는 다중보기 미세조정 방법을 제안한다. 이 방법은 대규모 비효율적인 교사 모델을 필요로 하지 않으며, 네 가지 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Reasoning in mathematical domains remains a significant challenge for relatively small language models (LMs). Many current methods focus on specializing LMs in mathematical reasoning and rely heavily on knowledge distillation from powerful but inefficient large LMs (LLMs). In this work, we explore a new direction that avoids over-reliance on LLM teachers, introducing a multi-view fine-tuning method that efficiently exploits existing mathematical problem datasets with diverse annotation styles. Our approach uniquely considers the various annotation formats as different "views" and leverages them in training the model. By postpending distinct instructions to input questions, models can learn to generate solutions in diverse formats in a flexible manner. Experimental results show that our strategy enables a LLaMA-7B model to outperform prior approaches that utilize knowledge distillation, as well as carefully established baselines. Additionally, the proposed method grants the models promising generalization ability across various views and datasets, and the capability to learn from inaccurate or incomplete noisy data. We hope our multi-view training paradigm could inspire future studies in other machine reasoning domains.

연구 동기 및 목표

• 소형 언어모델의 수학적 추론 능력 향상을 위해 대규모 비효율적인 LLM에서의 지식 정복 기반 훈련의 한계를 해결하기 위해.
• 다양한 annotation 형식을 문제 해결의 서로 다른 '보기'로 간주하여 소형 언어모델의 일반화 능력과 강건성을 향상시키기 위해.
• 비용이 많이 들지 않는 LLM 기반 annotation이 필요 없이, 다양한 형식과 잡음이 있는 공개된 데이터셋을 효과적으로 활용하기 위해.
• 다양한 보기를 기반으로 훈련하는 것이 다양한 데이터셋과 형식에서의 추론 성능 및 적응 능력을 향상시키는지 탐색하기 위해.
• 모델 아키텍처와 노이즈가 있는 데이터에 대해 일반화 가능한 데이터 효율적이고 확장 가능한 방법을 개발하기 위해.

제안 방법

• 다양한 해결책 annotation 형식—예를 들어 서사적 단계별 추론, 수식 기반 해결책, 평탄화된 프로그램—을 수학적 문제 해결의 서로 다른 '보기'로 간주한다.
• 데이터를 한 형식에서 다른 형식으로 변환함으로써 보기를 확장하는 변환 기법을 적용하여 훈련 다양성을 증가시킨다.
• 미세조정 과정에서 입력 질문에 특정 지침 접두사를 추가하여 모델이 원하는 형식의 출력을 생성하도록 유도하며, 이로써 다양한 형식에 맞는 탄력적인 생성이 가능해진다.
• 다양한 데이터셋에서 혼합된 보기를 사용해 엔드 투 엔드로 모델을 훈련시켜, 서로 다른 보간의 추론 패턴을 학습하고 일반화 능력을 향상시킨다.
• 모델 아키텍처에 종속되지 않으며, LLaMA-7B 및 BLOOMz-7B와 같은 다양한 백본 모델에 적용 가능하다.
• 대규모 LLM을 사용한 데이터 생성에 의존하지 않으며, 최소한의 전처리로 기존 데이터셋을 활용한다.

Figure 1: We use MinT to fine-tune a LLaMA-7B model that specializes in math problem solving. First, the original annotation is transformed into multiple different views. Then, the model is trained by instructions to generate different solution forms for one problem.

실험 결과

연구 질문

• RQ1 다양한 annotation 형식(보기)로 훈련하면 소형 언어모델의 수학적 추론 성능이 향상되는가?
• RQ2 다중보기 미세조정은 예측되지 않은 데이터셋과 해결책 형식 간의 일반화 능력을 향상시키는가?
• RQ3 잡음이 있거나 완전하지 않은 데이터를 새로운 보기로 간주함으로써 효과적으로 통합할 수 있는가?
• RQ4 MinT의 성능는 대규모 교사 모델에 의존하는 지식 정복 기반 방법과 비교해 어떻게 되는가?
• RQ5 이 방법은 다양한 백본 언어모델 간에 얼마나 일반화되는가?

주요 결과

• LLaMA-7B 모델을 MinT로 미세조정한 결과, GSM8K, MathQA, Ape210K, MAWPS를 포함한 네 가지 벤치마크에서 이전의 지식 정복 기반 방법을 능가했다.
• 수식 기반 해결책을 사용하는 MAWPS 데이터셋에서, MinT로 미세조정된 모델는 단계별 사고 체인 해결책을 생성할 때 58.5%의 정확도를 달성했으며, 이는 강력한 보간 일반화 능력을 보여준다.
• 더 많은 데이터셋과 보기를 사용해 훈련할수록 성능이 일관되게 향상되었으며, 여섯 개의 모든 데이터셋에서 훈련된 모델가 모든 보기에 대해 가장 높은 정확도를 기록했다.
• 이 방법은 LLaMA-7B와 BLOOMz-7B를 포함한 다양한 백본 모델에 대해 뛰어난 적응 능력을 보이며, 일관된 성능 향상을 이뤘다.
• 잡음이 있는 데이터를 추가적인 보기로 간주함으로써 모델는 데이터 정제 없이도 전반적인 성능 향상을 이룰 수 있었으며, 이는 강건성을 보여준다.
• 간단한 지침 조정을 통해 생성 제어를 효과적으로 가능하게 하여, 완전하지 않거나 관련성이 없는 데이터 소스에서도 고품질의 출력을 생성할 수 있다.

Figure 2: Experimental results on the MAWPS dataset. X-axis indicates the training datasets and Y-axis indicates the accuracy.