[논문 리뷰] Successive Prompting for Decomposing Complex Questions

Dheeru Dua, Shivanshu Gupta외 2명|arXiv (Cornell University)|2022. 12. 08.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 복잡한 질문을 단계적으로 더 간단한 부분 질문으로 분해하고, 대규모 언어 모델을 사용해 순차적으로 각 질문에 답하며, 분해 과정과 답변 생성의 지도를 분리하는 Successive Prompting 방법을 소개한다. 이 방법은 각 단계에서 여러 개의 컨텍스트 예시를 선택할 수 있도록 하고, 합성 데이터를 활용해 추론 격차를 보완함으로써, 최신 기술 대비 few-shot DROP에서 5%의 절대 F1 향상을 달성한다.

ABSTRACT

Answering complex questions that require making latent decisions is a challenging task, especially when limited supervision is available. Recent works leverage the capabilities of large language models (LMs) to perform complex question answering in a few-shot setting by demonstrating how to output intermediate rationalizations while solving the complex question in a single pass. We introduce ``Successive Prompting'', where we iteratively break down a complex task into a simple task, solve it, and then repeat the process until we get the final solution. Successive prompting decouples the supervision for decomposing complex questions from the supervision for answering simple questions, allowing us to (1) have multiple opportunities to query in-context examples at each reasoning step (2) learn question decomposition separately from question answering, including using synthetic data, and (3) use bespoke (fine-tuned) components for reasoning steps where a large LM does not perform well. The intermediate supervision is typically manually written, which can be expensive to collect. We introduce a way to generate a synthetic dataset which can be used to bootstrap a model's ability to decompose and answer intermediate questions. Our best model (with successive prompting) achieves an improvement of ~5% absolute F1 on a few-shot version of the DROP dataset when compared with a state-of-the-art model with the same supervision.

연구 동기 및 목표

• 대규모 언어 모델이 추론 단계와 잠재적 결정보정에서 어려움을 겪는 few-shot 복잡한 질의 응답 문제에 대응하기 위해.
• 질문 분해와 답변 생성의 지도를 분리하여 모듈러한 훈련과 추론을 가능하게 하기 위해.
• 각 추론 단계에서 여러 컨텍스트 예시 선택을 允허함으로써 few-shot 성능을 향상시키기 위해.
• 분해와 답변 모두에 대한 지도를 제공하는 합성 데이터 생성기를 개발하여 고비용 수동 주석에 대한 의존도를 줄이기 위해.
• 언어 모델이 성능을 낮게 보이는 특정 추론 단계에 대해 전문화된 구성 요소(예: 미세조정된 모델 또는 기호 엔진)를 사용할 수 있도록 하기 위해.

제안 방법

• 이 방법은 반복적 프롬프팅을 사용한다: 각 단계에서 모델은 다음으로 묻을 단순한 질문을 예측하고, 이를 답변한 후 최종 답변에 도달할 때까지 반복한다.
• 분해와 답변은 각각 독립적인 지도와 컨텍스트 학습 능력을 갖춘 별개의 모듈러 단계로 수행된다.
• 원래 질문에 기반한 단일 고정 세트가 아니라, 각 추론 단계에 맞게 조정된 여러 컨텍스트 예시 선택을 허용한다.
• 반구조화된 위키백과 표에서 유래한 합성 데이터셋을 활용해 중간 단계의 분해와 답변 생성에 대한 지도를 제공한다.
• 모델은 분해 및 답변 작업 각각에 대해 별도로 미세조정될 수 있어 특정 추론 유형에 대한 목표적 향상을 가능하게 한다.
• 언어 모델 구성 요소를 적절한 경우 전문화된 기호적 또는 미세조정된 모델로 교체할 수 있는 프레임워크를 지원한다.

실험 결과

연구 질문

• RQ1 각 추론 단계에 대해 별도의 지도를 갖는 반복적 분해가 few-shot 복잡한 질의 응답 성능을 향상시킬 수 있는가?
• RQ2 각 단계에서 단일 패assing 프롬프팅 대비 여러 컨텍스트 예시 선택을 허용하는 것이 성능 향상에 기여하는가?
• RQ3 합성 데이터가 자원이 적은 환경에서 추론 능력을 효과적으로 보완할 수 있는가?
• RQ4 언어 모델과 전문화된 구성 요소를 조합한 모듈러 시스템이 종단 간 언어 모델 기반 접근법을 능가할 수 있는가?
• RQ5 분해의 세분성은 성능에 어떤 영향을 미치며, 이를 모델의 능력에 맞게 조정할 수 있는가?

주요 결과

• Successive Prompting는 DROP 데이터셋에서 few-shot 컨텍스트 학습에서 체인 오브 토크 분석보다 4.6 F1 포인트 향상된 성능을 달성한다.
• 리스트 유형 질문에 특화된 미세조정된 모델로 컨텍스트 QA 모듈을 교체하면 추가로 9.5 F1 포인트 향상된다.
• 가장 우수한 Successive Prompting 모델은 동일한 few-shot 지도를 사용한 최신 기술 대비 약 5%의 절대 F1 향상을 달성한다.
• 합성 데이터 생성기는 DROP의 대부분의 추론 유형을 커버하여 효과적인 사전 훈련 및 미세조정을 가능하게 했다.
• 분해와 답변의 분리로 인해 특정 모델 향상과 전문화된 구성 요소의 통합이 가능해졌다.
• 모델 쿼리 수가 증가하여 계산 비용이 증가하지만, 이는 정확도 향상과 모듈러리티로 상쇄된다.