[論文レビュー] CGEMs: A Metric Model for Automatic Code Generation using GPT-3

Aishwarya Narasimhan, Krishna Prasad Agara Venkatesha Rao+1 more|arXiv (Cornell University)|Aug 23, 2021

Explainable Artificial Intelligence (XAI)参考文献 7被引用数 6

ひとこと要約

この論文では、コンパイルチェック、自然言語から論理への変換、編集回数、静的コードメトリクス、NLPベースの特徴量を組み合わせることで、GPT-3が生成したコードを評価するCGEMsというメトリクスモデルを提案する。これらのメトリクスに基づいて訓練されたニューラルネットワーク分類器は、妥当なコードと妥当でないコードを区別する際、76.92%の正確性と55.56%のF1スコアを達成しており、解釈可能性はXAI技術によって向上している。

ABSTRACT

Today, AI technology is showing its strengths in almost every industry and walks of life. From text generation, text summarization, chatbots, NLP is being used widely. One such paradigm is automatic code generation. An AI could be generating anything; hence the output space is unconstrained. A self-driving car is driven for 100 million miles to validate its safety, but tests cannot be written to monitor and cover an unconstrained space. One of the solutions to validate AI-generated content is to constrain the problem and convert it from abstract to realistic, and this can be accomplished by either validating the unconstrained algorithm using theoretical proofs or by using Monte-Carlo simulation methods. In this case, we use the latter approach to test/validate a statistically significant number of samples. This hypothesis of validating the AI-generated code is the main motive of this work and to know if AI-generated code is reliable, a metric model CGEMs is proposed. This is an extremely challenging task as programs can have different logic with different naming conventions, but the metrics must capture the structure and logic of the program. This is similar to the importance grammar carries in AI-based text generation, Q&A, translations, etc. The various metrics that are garnered in this work to support the evaluation of generated code are as follows: Compilation, NL description to logic conversion, number of edits needed, some of the commonly used static-code metrics and NLP metrics. These metrics are applied to 80 codes generated using OpenAI's GPT-3. Post which a Neural network is designed for binary classification (acceptable/not acceptable quality of the generated code). The inputs to this network are the values of the features obtained from the metrics. The model achieves a classification accuracy of 76.92% and an F1 score of 55.56%. XAI is augmented for model interpretability.

研究の動機と目的

• 制約のない出力空間におけるAI生成コードの検証の課題に対処すること。
• GPT-3のような大規模言語モデルが生成するコードの信頼性ある自動的メトリクスベースの評価フレームワークを構築すること。
• コンパイル成功、論理の整合性、編集回数、コード構造といった、コード品質を反映する主要な特徴を特定・定量化すること。
• 測定可能なメトリクスに基づいて、GPT-3が生成したコードが妥当かどうかを予測する二値分類モデルを設計すること。
• コード品質評価における透明性を高めるために、解釈可能なAI（XAI）技術を用いてモデルの解釈性を向上させること。

提案手法

• フレームワークは80件のGPT-3が生成したコードサンプルを収集し、コンパイル成功、自然言語から論理への変換精度、必要な編集回数、標準的な静的コードメトリクス（例：循環的複雑度）、NLPベースのメトリクスのスイートを適用する。
• 各コードサンプルはこれらのメトリクスでスコア付けされ、モデル入力用の特徴ベクトルが形成される。
• メトリクスから得た特徴量を用いて、二値分類（妥当なコード対妥当でないコード）のための順伝播ニューラルネットワークを訓練する。
• 分類性能を最適化するため、正確性やF1スコアといった評価指標を用いてモデルを評価する。
• 予測の解釈性を高めるために、XAI技術を適用し、分類結果に最も影響を与える特徴量を同定する。

実験結果

リサーチクエスチョン

• RQ1 コンパイル、静的コード、NLPメトリクスのハイブリッドセットは、GPT-3が生成したコードの品質を効果的に評価できるか？
• RQ2 これらのメトリクスに基づいて、ニューラルネットワーク分類器は妥当なコードと妥当でないコードをどれほど正確に区別できるか？
• RQ3 個々のメトリクスの中で、コード品質の分類に最も寄与しているのはどれか？
• RQ4 XAI技術は、コード品質評価モデルの解釈性をどの程度向上できるか？
• RQ5 提案されたメトリクスモデルは、生成コードにおける論理的構造や命名規約のばらつきに対しても十分に頑健か？

主な発見

• CGEMsモデルは、80件のGPT-3が生成したコードサンプルからなるテストセットで76.92%の分類正確性を達成した。
• 二値分類タスクにおけるF1スコアは55.56%であり、精度と再現率のバランスが中程度であることを示している。
• コンパイル成功と編集回数は、機能的正しさと保守可能性を反映するコード品質の強力な指標であった。
• NLPベースのメトリクス、特に自然言語プロンプトとコード論理の整合性を測る指標は、モデルの予測力に有意義に寄与した。
• XAI分析により、論理の整合性とコード構造のメトリクスが、モデルの意思決定プロセスにおいて最も影響力のある特徴量であることが明らかになった。
• 結果から、メトリクス駆動型でデータ駆動型のアプローチが、統計的に妥当かつ解釈可能な方法でAI生成コードを評価できることが示された。