[論文レビュー] Solving Probability and Statistics Problems by Program Synthesis

Leonard Tang, Elizabeth Ke+3 more|arXiv (Cornell University)|Nov 16, 2021

Software Engineering Research参考文献 14被引用数 5

ひとこと要約

本論文は、OpenAIのCodexを用いて、確率的シミュレーションと概念に基づいたプロンプト技術を活用することで、大学レベルの確率・統計問題をプログラミングタスクに変換する、革新的なアプローチを提案する。40問の大学レベルの問題から構成される新規データセット上で高い正確性を達成しており、大規模言語モデルが複雑な統計的推論タスクに対して正しい確率的コードを効果的に生成できることを示している。

ABSTRACT

We solve university level probability and statistics questions by program synthesis using OpenAI's Codex, a Transformer trained on text and fine-tuned on code. We transform course problems from MIT's 18.05 Introduction to Probability and Statistics and Harvard's STAT110 Probability into programming tasks. We then execute the generated code to get a solution. Since these course questions are grounded in probability, we often aim to have Codex generate probabilistic programs that simulate a large number of probabilistic dependencies to compute its solution. Our approach requires prompt engineering to transform the question from its original form to an explicit, tractable form that results in a correct program and solution. To estimate the amount of work needed to translate an original question into its tractable form, we measure the similarity between original and transformed questions. Our work is the first to introduce a new dataset of university-level probability and statistics problems and solve these problems in a scalable fashion using the program synthesis capabilities of large language models.

研究の動機と目的

• 標準的なファウンデーションモデルでは困難な、複雑な大学レベルの確率・統計問題の自動化を解決すること。
• 確率的依存関係に基づいた、スケーラブルでシミュレーションベースのプログラム合成手法を構築すること。
• ベンチマーク用に、MITおよびハーバード大学のコースから抽出した40問の大学レベルの確率・統計問題を含む、初めてのデータセットを提供すること。
• 特に概念に基づいたプロンプト技術が、確率的推論タスクにおける正確なプログラム生成にどの程度寄与するかを評価すること。
• 適切にプロンプトされた大規模言語モデルが、正確な数値解を導く確率的シミュレーションを正しく生成できることを実証すること。

提案手法

• 元の確率・統計問題を、多数の確率的シナリオのシミュレーションを要請する明示的なプログラミングタスクに変換する。
• コードで微調整されたTransformerモデルであるOpenAIのCodexを用い、これらのプログラミングタスクから確率的プログラムを生成する。
• 確率的コンセプト（例：ベイズの定理、条件付き期待値）を直接プロンプトに埋め込むことで、概念に基づいたプロンプト技術を適用し、コードの正確性を向上させる。
• 生成されたコードを実行し、モンテカルロシミュレーションによって確率または期待値の経験的推定値を計算する。
• 合成されたコードの実行結果を正解（グランドトゥース）と比較することで、成功を測定する。
• MITの18.05およびハーバードのSTAT110とBrainstellarから構成される2つのキュレート済みデータセットで、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデル（例：Codex）を用いたプログラム合成は、複雑な大学レベルの確率・統計問題を効果的に解くのに適しているか？
• RQ2 概念に基づいたプロンプト技術は、確率的推論タスクにおけるプログラム生成の正確性をどの程度向上させるか？
• RQ3 合成されたコードによる確率的シミュレーションは、大学レベルの確率問題において、正確な解析的解にどの程度近づけるか？
• RQ4 プロンプト工学は、統計的問題における生成プログラムの信頼性と正しさにどのような影響を与えるか？
• RQ5 新規にキュレートされた大学レベルの確率問題データセットは、数学的推論におけるプログラム合成の評価に意味のあるベンチマークとして機能するか？

主な発見

• MITの18.05コースの20問の応用的確率問題において、100％の成功率を達成し、すべての生成プログラムが正しい数値解を出力した。
• ハーバードのSTAT110およびBrainstellarの20問の概念的問題においては、95％の成功率を達成し、20件中1件のみが誤った解であった。
• 全問題の平均実行結果は、グランドトゥース解から0.01以内に収まっており、高い数値的正確性を示している。
• 概念に基づいたプロンプト技術の適用により、特に条件付き確率やベイズの定理を含む問題において、コードの正確性が顕著に向上した。
• 聖パトリックのパラドックス問題を効果的に解き、期待報酬が約50であることを正しく推定するシミュレーションを生成した。
• 本論文では、小学校レベルの数学に限定された既存のベンチマークに欠ける点を埋めるために、40問の大学レベルの確率・統計問題を含む、公開可能な新規データセットを提供した。