[論文レビュー] Bias Testing and Mitigation in LLM-based Code Generation

Dong Huang, Jie Zhang+4 more|arXiv (Cornell University)|Sep 3, 2023

Ethics and Social Impacts of AI被引用数 7

ひとこと要約

本稿では、大規模言語モデル（LLM）が生成するコードに含まれる性別や年齢などの社会的バイアスを検出するための新しいバイアステストフレームワークを提案する。5つの最先端LLMを評価した結果、生成された関数の20.29%から44.93%がバイアスを示した。プロンプトベースの緩和戦略、特にワンショットおよびフェイシュート学習により、GPT-4ではバイアスが80–90%低減された。

ABSTRACT

As the adoption of LLMs becomes more widespread in software coding ecosystems, a pressing issue has emerged: does the generated code contain social bias and unfairness, such as those related to age, gender, and race? This issue concerns the integrity, fairness, and ethical foundation of software applications that depend on the code generated by these models but are underexplored in the literature. This paper presents a novel bias testing framework that is specifically designed for code generation tasks. Based on this framework, we conduct an extensive empirical study on the biases in code generated by five widely studied LLMs (i.e., PALM-2-CodeChat-bison, Claude-instant-1, GPT-3.5-turbo, GPT-4-turbo, and GPT-4). Our findings reveal that biases are prevalent. For example, 13.47% to 49.10% of the codes generated by these LLMs have biased behaviors towards gender. Moreover, we study five bias mitigation prompt strategies that are commonly used in current code generation scenarios, i.e., zero-shot, one-shot, few-shot, and two Chain-of-Thought (CoT) prompts, with and without provided feedback-driven refinement. Our evaluation results illustrate that using direct prompt engineering strategies has limited effectiveness in mitigating bias, but our test execution feedback can help to reduce the ratio of code biases to a large extent (e.g., from 59.88% to 4.79% for GPT-4).

研究の動機と目的

• 最先端LLMが生成するコードに、性別、年齢、人種などの社会的バイアスが存在するかどうかを調査すること。
• コードの構造的・論理的特性に適合した、信頼性の高い自動化されたバイアス検出フレームワークを構築すること。
• プロンプト工学戦略がLLM生成コード関数におけるバイアス緩和にどの程度効果的であるかを評価すること。
• 今後の公平なコード生成に関する研究開発のための再現可能でオープンソースのベンチマークとツールを提供すること。

提案手法

• 性別や年齢に基づく支援資格の有無など、バイアスに敏感なタスクを想定したプロンプトセットを構築し、LLMからコードを抽出する。
• 抽象構文木（AST）を用いて生成コードを解析し、関数名、パラメータ、値を抽出して体系的な分析を実施する。
• 入力パラメータのうち1つ（例：性別）のみを変化させ、他のパラメータは一定に保つことで、不一致またはバイアスのある挙動を検出するテストケースを生成する。
• ローカル環境でテストケースを実行し、アサーションエラーの有無を確認することでバイアスの有無を判定する。実行時エラーについては手動での検証を実施する。
• バイアスの出現頻度と一貫性を測定するための3つの指標を定義する：コードバイアススコア（CBS）、CBS_U@K（複数回実行におけるバイアスの集合和）、CBS_I@K（集合積）。
• バイアステストの結果を活用して、ゼロショット、ワンショット、フェイシュート、および2段階の思考過程（CoT）プロンプトを含む5つのプロンプトベースの緩和戦略を適用する。

Figure 1 . Our code bias testing framework and a real bias example in the code generated by VS Copilot.

実験結果

リサーチクエスチョン

• RQ1 RQ1: 性別や年齢などの感受性の高い属性を含む関数において、LLMが生成するコードにバイアスが存在するか？
• RQ2 RQ2: 提案されたバイアステストフレームワークは、コード生成出力におけるバイアスを信頼性高く同定・測定できるか？
• RQ3 RQ3: プロンプト工学戦略は、LLMが生成するコードにおけるバイアス緩和にどの程度効果的か？

主な発見

• 5つの最先端LLMが生成したコード関数のうち、20.29%から44.93%がバイアスに敏感なタスクにおいてバイアスを示した。
• 提案されたコードバイアステストフレームワークは、自動テストケース実行とASTベースの解析により、バイアスを効果的に同定した。エッジケースについては手動での検証も実施した。
• ワンショットおよびフェイシュートプロンプト工学戦略が最も効果的であり、GPT-4のコードバイアスを80%から90%まで低減した。
• 大規模モデルであっても、バイアスを含む出力を生成する傾向があるため、モデル規模だけではバイアスが緩和されないことが示された。
• フレームワークのCBS指標は、複数回のモデル実行におけるバイアスの出現頻度と一貫性を効果的に捉えていた。
• 本研究では、バイアスが特定のモデルに限定されるのではなく、現在の最先端LLM全体に広がるシステム的問題であることが明らかになった。

Figure 2 . Our code bias evaluation pipeline.