[論文レビュー] Toward Trustworthy Neural Program Synthesis

Darren Key, Wen-Ding Li+1 more|arXiv (Cornell University)|Sep 29, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文では、実行可能仕様（例：入出力テストや論理的関係）を同時に生成することで、神経的プログラム合成のキャリブレーション、説明可能性、正確性を向上させる手法であるSpeculyzerを紹介する。正解の予測と最も有用な仕様の特定に学習されたモデルを用いることで、信頼性の高い信頼度推定、人間が好む説明、およびコード生成ベンチマークにおける最先端性能の維持または向上を達成する。

ABSTRACT

We develop an approach to estimate the probability that a program sampled from a large language model is correct. Given a natural language description of a programming problem, our method samples both candidate programs as well as candidate predicates specifying how the program should behave. This allows learning a model that forms a well-calibrated probabilistic prediction of program correctness. Our system also infers which predicates are useful to explain the behavior of the generated code, and humans preferred these in a human study over raw language model outputs. Our method is simple, easy to implement, and maintains state of the art generation accuracy results.

研究の動機と目的

• 神経的プログラム合成器に対する信頼の欠如に対処するため、問題を解くことができない場合にそれを的確に検出できるシステムを実現すること。
• 生成されたプログラムが正しい理由を明確にする人間が解釈可能な仕様を生成することで、説明可能性を向上させること。
• 追加の検証および説明のコンponentsを導入しても、神経的コード生成全体の正確性を維持または向上させること。
• プログラムの正しさに関するwell-calibratedな確率的推定を形成するシステムを開発し、微細なバグの導入リスクを低減すること。

提案手法

• システムは大規模言語モデルを用いて、自然言語による問題記述から、候補となるプログラムと候補となる仕様（入出力テストケースまたはパラメータ化された論理的関係）を独立してサンプリングする。
• 仕様は生成されたプログラムに対して機械的に検証され、プログラム-仕様ペアのデータセットが形成される。
• 学習されたモデルは、仕様の検証結果に基づいてプログラムの正しさを予測し、正しさに関するwell-calibratedな確率推定を可能にする。
• 人間の好みのデータで訓練されたスコアリング機構を用いて、仕様の説明としての有用性に基づき、仕様をランク付けする。
• プログラムと仕様の生成を1つのパイプラインに統合し、モデルが自ら生成した仕様を用いて「自分の仕事を点検する」ことを可能にする。
• 本手法はMBPPおよびHumanEvalベンチマークで評価され、主にpass@kを精度指標とし、説明の質については人間の研究を用いる。

実験結果

リサーチクエスチョン

• RQ1 神経的プログラム合成器は、誤ったコードをデプロイするリスクを低減するために、プログラムの正しさに関するwell-calibratedな確率的推定を提供できるか？
• RQ2 人間ユーザーの評価において、生成された仕様は、生のモデル出力と比較して、モデル出力の説明可能性を向上させるか？
• RQ3 仕様の生成と検証を組み込むことで、全体のプログラム合成の正確性が向上するか、それともパフォーマンスが低下するか？
• RQ4 入出力仕様と論理的関係のどちらが、人間にとってプログラム動作の説明に最も効果的か？
• RQ5 複数の有効な仕様が存在する状況でも、モデルは説明に最も有用な仕様を識別できるか？

主な発見

• 提案手法は、信頼性の高い信頼度推定を達成し、未補正のモデルのログティットに依存せずに信頼できる意思決定が可能になる。
• 人間の研究では、モデルが生成した仕様は、生のモデル出力よりも好まれることが判明し、解釈可能性と使いやすさの向上が示された。
• MBPPおよびHumanEvalベンチマークの両方で、pass@kの正確性が維持されたりわずかに向上したりしており、追加の複雑性にもかかわらずパフォーマンスの低下がないことが示された。
• システムは、プログラム動作の説明に最も有用な仕様を適切に特定できており、上位ランクの仕様はランダムまたは下位ランクのものと比べて著しく情報量が多いことが分かった。
• 本手法により、モデルが自らテストケースを生成する自己検証の形式が可能となり、耐障害性が向上し、外部テストスイートへの依存が減少した。
• 仕様合成の統合により、不確実性がある場合には回答を控えることができる信頼性の高いシステムが実現され、誤ったコードの生成リスクが低減した。