[논문 리뷰] Solving Probability and Statistics Problems by Program Synthesis

Leonard Tang, Elizabeth Ke외 3명|arXiv (Cornell University)|2021. 11. 16.

Software Engineering Research참고 문헌 14인용 수 5

한 줄 요약

이 논문은 OpenAI의 Codex를 사용하여 프로그램 합성 기반으로 대학 수준의 확률 및 통계 문제를 해결하기 위한 새로운 접근법을 제안한다. 개념 기반 프롬프팅과 확률적 시뮬레이션을 활용하여, 40개의 대학 수준 문제로 구성된 새로운 데이터셋에서 높은 정확도를 달성함으로써, 대규모 언어 모델이 복잡한 통계적 추론 작업을 위해 정확한 확률적 코드를 효과적으로 생성할 수 있음을 입증한다.

ABSTRACT

We solve university level probability and statistics questions by program synthesis using OpenAI's Codex, a Transformer trained on text and fine-tuned on code. We transform course problems from MIT's 18.05 Introduction to Probability and Statistics and Harvard's STAT110 Probability into programming tasks. We then execute the generated code to get a solution. Since these course questions are grounded in probability, we often aim to have Codex generate probabilistic programs that simulate a large number of probabilistic dependencies to compute its solution. Our approach requires prompt engineering to transform the question from its original form to an explicit, tractable form that results in a correct program and solution. To estimate the amount of work needed to translate an original question into its tractable form, we measure the similarity between original and transformed questions. Our work is the first to introduce a new dataset of university-level probability and statistics problems and solve these problems in a scalable fashion using the program synthesis capabilities of large language models.

연구 동기 및 목표

• 표준 기초 모델이 어려워하는 복잡한 대학 수준의 확률 및 통계 문제의 자동화된 해결에 도전한다.
• 확률적 종속성에 기반한 문제를 해결하기 위해 프로그램 합성 기반의 확장 가능한 시뮬레이션 기반 접근법을 개발한다.
• 기준으로 사용하기 위한 첫 번째 대학 수준의 확률 및 통계 문제 40개로 구성된 데이터셋을 제안한다.
• 특히 개념 기반 프롬프팅이 확률적 추론을 위한 정확한 프로그램 생성에 얼마나 효과적인지 평가한다.
• 적절히 프롬프팅된 경우 대규모 언어 모델이 정확한 수치적 해를 도출할 수 있도록 정확한 확률적 시뮬레이션을 생성할 수 있음을 입증한다.

제안 방법

• 원래의 확률 및 통계 문제를 대규모 확률적 시나리오의 시뮬레이션을 요청하는 명확한 프로그래밍 작업으로 변환한다.
• 코드에 대해 미세조정된 Transformer 모델인 OpenAI의 Codex를 사용하여 이러한 프로그래밍 작업에서 확률적 프로그램을 생성한다.
• 관련된 확률 개념(예: 베이즈 정리, 조건부 기대값 등)을 직접 프롬프트에 통합하여 개념 기반 프롬프팅을 적용함으로써 코드 정확도를 향상시킨다.
• 생성된 코드를 실행하여 몬테카를로 시뮬레이션을 통해 확률 또는 기대값의 경험적 추정치를 계산한다.
• 합성된 코드의 실행 결과를 기준값과 비교하여 성공 여부를 측정한다.
• MIT의 18.05와 하버드의 STAT110 및 Brainstellar에서 수집한 20개의 응용 문제와 20개의 개념 문제로 구성된 두 가지 정제된 데이터셋에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 Codex와 같은 대규모 언어 모델을 통한 프로그램 합성 기반으로 복잡한 대학 수준의 확률 및 통계 문제를 효과적으로 해결할 수 있는가?
• RQ2 개념 기반 프롬프팅은 확률적 추론 작업을 위한 프로그램 생성 정확도를 얼마나 효과적으로 향상시키는가?
• RQ3 합성된 코드를 통한 확률적 시뮬레이션은 대학 수준의 확률 문제에서 정확한 해석적 해에 얼마나 가까이 근접하는가?
• RQ4 프롬프팅 기반 기술은 통계 문제의 프로그램 생성 정확도와 신뢰성에 어떤 영향을 미치는가?
• RQ5 새로운 정제된 대학 수준의 확률 문제 데이터셋은 수학적 추론에서 프로그램 합성 평가를 위한 의미 있는 기준이 될 수 있는가?

주요 결과

• MIT의 18.05 수업에서 나온 20개의 응용 확률 문제에서 100% 성공률를 기록했으며, 모든 생성된 프로그램이 정확한 수치적 해를 도출했다.
• 하버드의 STAT110과 Brainstellar에서 나온 20개의 개념 문제에서는 95% 성공률를 기록했으며, 테스트한 20개 문제 중 오직 하나의 오답만 기록했다.
• 모든 문제에 대한 평균 실행 결과는 기준값과 0.01 이내였으며, 높은 수치적 정확도를 보였다.
• 개념 기반 프롬프팅의 사용은 조건부 확률과 베이즈 정리와 관련된 문제에서 특히 코드 정확도를 크게 향상시켰다.
• 성공적으로 성격의 파라독스 문제를 해결했으며, 정확한 기대 수익 약 50을 올바르게 추정하는 시뮬레이션을 생성했다.
• 기존 벤치마크가 주로 초등학교 수준의 수학에 집중하는 데 비해, 이 논문은 40개의 대학 수준의 확률 및 통계 문제로 구성된 새로운 공개 데이터셋을 제안하여 빈도를 메꾸었다.