[論文レビュー] Codex Hacks HackerRank: Memorization Issues and a Framework for Code Synthesis Evaluation

Anjan Karmakar, Julian Aron Prenner+2 more|arXiv (Cornell University)|Dec 6, 2022

Software Engineering Research被引用数 9

ひとこと要約

この論文は、115のHackerRank Python問題に対してOpenAIのCodexモデルを評価し、高いゼロショット（96%）およびフェイワショット（100%）の成功率にもかかわらず、顕著な記憶行動が見られることが明らかになった。著者らは、コード合成の一般化能力を体系的に評価するための変異ベースのフレームワークを提案し、大規模なコードモデルにおける記憶、バイアス、プライバシー漏洩のリスクを浮き彫りにした。

ABSTRACT

The Codex model has demonstrated extraordinary competence in synthesizing code from natural language problem descriptions. However, in order to reveal unknown failure modes and hidden biases, such large-scale models must be systematically subjected to multiple and diverse evaluation studies. In this work, we evaluate the code synthesis capabilities of the Codex model based on a set of 115 Python problem statements from a popular competitive programming portal: HackerRank. Our evaluation shows that Codex is indeed proficient in Python, solving 96% of the problems in a zero-shot setting, and 100% of the problems in a few-shot setting. However, Codex exhibits clear signs of generating memorized code based on our evaluation. This is alarming, especially since the adoption and use of such models could directly impact how code is written and produced in the foreseeable future. With this in mind, we further discuss and highlight some of the prominent risks associated with large-scale models of source code. Finally, we propose a framework for code-synthesis evaluation using variations of problem statements based on mutations.

研究の動機と目的

• Codexが自然言語のプロンプトからコードを生成する際、記憶行動を示すかどうかを調査すること。
• 制御された変異を用いた変更された問題文を用いて、Codexの一般化能力を評価すること。
• 大規模なコードモデルに伴うリスク、すなわち記憶、バイアス、プライバシー漏洩を特定すること。
• コード合成モデルのための問題文のバリエーションに基づいた体系的な評価フレームワークを提案すること。
• ソフトウェア工学の文脈において、大規模言語モデルによるコード生成の信頼性と透明性を向上させること。

提案手法

• 著者らは、コード合成評価のベンチマークとして、HackerRankから115のPython問題文を収集した。
• 入力出力仕様、問題の表現方法、変数名の変更を含む制御された変異を問題記述に適用し、一般化能力をテストした。
• ゼロショットおよびフェイワショット設定で、温度パラメータを変化させながら、オリジナルおよび変異版の問題に対してCodexをプロンプトした。
• モデルの出力について、正しさ、記憶の有無、入力の変化に対する感受性を評価した。
• 記憶の検出と一般化の失敗を体系的に特定するための変異ベースの評価フレームワークを導入した。
• 文字列操作、算術論理、ハッシュ処理など多様な問題タイプにフレームワークを適用し、耐性を評価した。

実験結果

リサーチクエスチョン

• RQ1 変更された問題文に対してプロンプトされた際、Codexはどれほど記憶されたコードを生成し、新しい解決策を合成するのか？
• RQ2 問題記述における入出力仕様が省かれたり変更された場合、Codexのパフォーマンスはどのように変化するか？
• RQ3 意味的に同等だが構文的に異なる問題定義に直面した際、Codexの失敗モードは何か？
• RQ4 部分的または曖昧な問題記述のみがプロンプトされた場合、モデルの挙動はどのように変化するか？
• RQ5 記憶の影響が、大規模言語モデルが生成するコードの信頼性、セキュリティ、プライバシーに及ぼす意味は何か？

主な発見

• CodexはオリジナルのHackerRank問題において、ゼロショット生成で96%、フェイワショット設定で100%の成功を達成し、強力なベースラインパフォーマンスを示した。
• 高い成功率にもかかわらず、入出力例が省かれた場合でも、Codexはしばしばオリジナル問題の仕様と一致するコードを生成しており、記憶の兆候が見られた。
• 一部のケースでは、Codexが問題記述の最初の文だけを用いても正しくコードを生成しており、推論ではなく記憶されたパターンに依存している可能性を示唆している。
• 文字列エンコードを含む変異問題では、Codexは変種のうちたった67%で正しく解決策を合成しており、入力の変化に対して脆さを示した。
• Codexは自然言語入力の解釈に一貫性がなく、たとえば「twenty-three」を2-3と読み替えてしまうなど、表現の仕方に対して感受性が高かった。
• 本研究は、HackerRankのような標準ベンチマークが、学習データからの共通するコードパターンの記憶によってバイアスを受ける可能性があることを示した。