[논문 리뷰] Synthetic Prompting: Generating Chain-of-Thought Demonstrations for Large Language Models

Zhihong Shao, Yeyun Gong외 4명|arXiv (Cornell University)|2023. 02. 01.

Topic Modeling인용 수 10

한 줄 요약

합성 프롬프팅은 몇 개의 시드 시연을 사용하여 역방향-순방향 계획을 통해 다수의 자체 합성 사고 과정을 생성한 다음, 다양한 복잡한 시연을 선택해 LLM 추론을 향상시키고, 최첨단 방법 대비 최대 15.6%의 절대 이득을 달성한다.

ABSTRACT

Large language models can perform various reasoning tasks by using chain-of-thought prompting, which guides them to find answers through step-by-step demonstrations. However, the quality of the prompts depends on the demonstrations given to the models, and creating many of them by hand is costly. We introduce Synthetic prompting, a method that leverages a few handcrafted examples to prompt the model to generate more examples by itself, and selects effective demonstrations to elicit better reasoning. Our method alternates between a backward and forward process to generate new examples. The backward process generates a question that match a sampled reasoning chain, so that the question is solvable and clear. The forward process produces a more detailed reasoning chain for the question, improving the quality of the example. We evaluate our method on numerical, symbolic, and algorithmic reasoning tasks, and show that it outperforms existing prompting techniques.

연구 동기 및 목표

• 시연 큐레이션 비용을 자동으로 추가 예시를 생성하여 줄이는 것을 목표로 한다.
• 모델이 질문과 상세한 추론을 생성하여 시연을 풍부하게 하는 역방향-순방향 합성 루프를 개발한다.
• 추론을 위한 다양한 정보성을 갖춘 시연을 선택하기 위해 클러스터 내 복잡도 기반 선정을 제안한다.
• 수치적, 기호적, 알고리즘적 추론 벤치마크에서의 효과를 입증한다.

제안 방법

• 시드 시연을 사용하여 LLM에 역방합성을 수행하도록 프롬프트를 작성한다(주제어를 조건으로 한 질문 생성, 목표 복잡도, 추론 사슬) 및 전방 합성(합성된 질문에 대한 정제된 추론 사슬 생성).
• 중지 기준 및 품질 필터를 구현한다(예: 중복 제거, 주제 커버리지 보장, 풀이 가능성 보장).
• 합성된 시연을 의미 공간(Sentence-BERT)에서 클러스터링하고 각 클러스터에서 가장 복잡한 예를 추론을 위해 선택한다.
• 합성을 위해 PaL 스타일의 추론 사슬(구조화된 코드)을 채택하고, 답은 모델 출력에서 추출하는 것이 아니라 코드를 실행하여 얻는다.
• 여러 추론 사슬을 샘플링하고 다수결로 합성 질문을 필터링하여 답의 신뢰도를 측정한다(합성에서만 사용되고 추론에는 사용되지 않음).
• 수치적, 기호적, 알고리즘적 작업에서 평가하고 직접 프롬핑, CoT 프롬핑, PaL 프롬핑과 비교한다.

실험 결과

연구 질문

• RQ1 소수의 시드 예시에서 파생된 자체 합성 시연이 시드 예시만 사용하는 것과 비교해 LLM 추론을 향상시킬 수 있는가?
• RQ2 클러스터 내 복잡도 기반 선정이 추론에 더 다양하고 정보성 있는 시연을 제공하는가?
• RQ3 최신 프롬프팅 방법과 비교하여 수치적, 기호적, 알고리즘적 추론 작업에서 합성 프롬프팅의 성능은 어떠한가?

주요 결과

• 합성 프롬프팅은 여러 데이터셋에서 최첨단 PaL 프롬핑 대비 최대 15.6%의 절대 이득을 제공합니다.
• 일반적인 합성 프롬프팅은 복잡도 제어와 다양성 부족으로 PaL 프롬핑에 비해 종종 성능이 떨어지며, 합성의 조건 부여가 결과를 향상시킵니다.
• 클러스터 내 복잡도 기반 선택은 일관되게 다른 방식들을 상회하며, 다양성과 높은 추론 복합성의 가치를 강조합니다.
• 합성된 시연은 일반적으로 일반적인 합성 프롬프트보다 더 복잡하고 주제에 부합하며, 선택된 시연은 대체로 정확하고 정보성이 높습니다.
• 훈련 데이터에서 신중하게 선택된 골드 시연과 비교했을 때, 한정된 시드 예시가 있을 때 합성 시연은 성능에 근접하거나 더 나아갈 수 있습니다.