[논문 리뷰] Agent Instructs Large Language Models to be General Zero-Shot Reasoners

Nicholas Crispino, Kyle Montgomery외 3명|arXiv (Cornell University)|2023. 10. 05.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 다양한 NLP 작업에서 대규모 언어 모델(Large Language Models, LLMs)의 zero-shot 추론 능력을 향상시키기 위해 작업별 지침을 생성하는 자율적 언어 에이전트를 사용하는 AgentInstruct라는 방법을 제안한다. 웹에서 검증된 작업별 지침과 LLM의 추론을 정렬함으로써, AgentInstruct는 29개 데이터셋 중 20개에서 최신 기술(SOTA) 수준의 zero-shot 성능을 달성했으며, Llama-2-70b-chat의 성능을 23.2% 향상시키고, chain-of-thought prompting 대비 추론 능력을 평균 10.5% 향상시켰다.

ABSTRACT

We introduce a method to improve the zero-shot reasoning abilities of large language models on general language understanding tasks. Specifically, we build an autonomous agent to instruct the reasoning process of large language models. We show this approach further unleashes the zero-shot reasoning abilities of large language models to more tasks. We study the performance of our method on a wide set of datasets spanning generation, classification, and reasoning. We show that our method generalizes to most tasks and obtains state-of-the-art zero-shot performance on 20 of the 29 datasets that we evaluate. For instance, our method boosts the performance of state-of-the-art large language models by a large margin, including Vicuna-13b (13.3%), Llama-2-70b-chat (23.2%), and GPT-3.5 Turbo (17.0%). Compared to zero-shot chain of thought, our improvement in reasoning is striking, with an average increase of 10.5%. With our method, Llama-2-70b-chat outperforms zero-shot GPT-3.5 Turbo by 10.2%.

연구 동기 및 목표

• 일반적이고 다양한 언어 이해 작업에서 대규모 언어 모델의 zero-shot 추론 능력을 향상시키기.
• Chain-of-thought과 같은 기존 zero-shot 방법의 한계를 해결하기 — 즉, 광범위한 작업 분포에 걸쳐 일반화가 잘 되지 않는 문제.
• 피팅 트레이닝이나 작업별 특화된 예시 없이도 추론 능력을 해금할 수 있는 확장 가능하고 일반적인 방법을 개발하기.
• 자율적 에이전트를 통해 고품질의 작업별 추론 지침을 제공함으로써, LLM이 미리 보지 않은 작업에서 더 나은 성능을 내도록 하기.

제안 방법

• 최소한의 입력(예: 데이터셋 이름과 예시 입력)을 바탕으로 웹 검색을 활용해 작업 관련 지식에 접근하는 자율적 언어 에이전트를 구동하기.
• LLM의 추론 과정을 정확한 해결으로 이끄는 단계별 작업별 지침을 생성하기.
• 에이전트가 생성한 지침을 LLM의 chain-of-thought 추론과 통합하여 추론 단계가 작업별 요구사항과 일치하도록 정렬하기.
• 한 개의 LLM을 추론 엔진으로, 다른 LLM을 에이전트 기획자로 사용하며, 둘 다 구조적이고 실행 가능한 지침을 생성하도록 프롬프트하기.
• 웹 기반 사실과 일致성 검사를 통해 지침의 품질을 검증하여 신뢰성과 작업 일치도 확보하기.
• 피팅 트레이닝이나 소수의 예시 없이, 생성, 분류, 추론 작업 모두에 대해 종단 간 zero-shot 설정에서 이 방법을 적용하기.

Figure 1: Summary of our approach and results. Top: Our zero-shot AgentInstruct generalizes the zero-shot reasoning abilities of large language models to a wide set of language understanding tasks including generation, classification, and reasoning. Our agent produces task-specific instructions to i

실험 결과

연구 질문

• RQ1 자율적 에이전트가 다양한 NLP 작업에서 LLM의 zero-shot 추론 능력을 크게 향상시키는 작업별 지침을 생성할 수 있는가?
• RQ2 일般적인 언어 이해 작업에서 AgentInstruct는 표준 zero-shot 및 chain-of-thought prompting 대비 zero-shot 성능에서 어떻게 비교되는가?
• RQ3 AgentInstruct는 좁은 작업 영역을 넘어서 일반화되어 추론 능력을 얼마나 향상시키는가?
• RQ4 AgentInstruct는 생성, 분류, 추론를 포함한 29개 데이터셋으로 구성된 광범위한 벤치마크에서 최신 기술 수준의 zero-shot 성능을 달성할 수 있는가?

주요 결과

• AgentInstruct는 평가된 29개 데이터셋 중 20개에서 최신 기술 수준의 zero-shot 성능을 달성하여 다양한 작업 유형에 걸쳐 강력한 일반화 능력을 보였다.
• 이 방법은 Llama-2-70b-chat의 평균 zero-shot 성능을 23.2% 향상시켰고, Vicuna-13b는 13.3%, GPT-3.5 Turbo는 17.0% 향상시켰다.
• AgentInstruct는 zero-shot chain-of-thought 대비 평균 10.5%의 추론 성능 향상을 기록했으며, 12개의 추론 작업 중 10개에서 슈퍼어리어어를 기록했다.
• GPT-3.5 Turbo가 더 강력한 모델임에도 불구하고, Llama-2-70b-chat에 AgentInstruct를 적용하면 평균 10.2% 높은 성능을 기록했다.
• 에이전트가 생성한 지침은 웹에서 확보한 지식에 기반하고 일致성과 작업 관련성 검증을 통과했기 때문에 매우 효과적이었다.
• 이 방법은 내구성 있고 확장 가능했으며, 피팅 트레이닝이나 작업별 특화된 예시 없이도 텍스트 생성, 분류, 추론을 포함한 다양한 NLP 작업에서 효과적으로 작동했다.

Figure 2: An example of our agent producing instructions for a classification dataset IMDB. The task-specific instructions are highlighted. Agent instructions for all datasets are in Appendix D .