[论文解读] Bias Testing and Mitigation in LLM-based Code Generation

Dong Huang, Jie Zhang+4 more|arXiv (Cornell University)|Sep 3, 2023

Ethics and Social Impacts of AI被引用 7

一句话总结

本文提出了一种新颖的偏差测试框架，用于检测大型语言模型（LLMs）生成的代码中是否存在社会偏见（如性别和年龄）。该研究评估了五种最先进的LLMs，发现20.29%至44.93%的生成函数存在偏差；基于提示的缓解策略，尤其是零样本和少样本学习，使GPT-4的偏差降低了80%至90%。

ABSTRACT

As the adoption of LLMs becomes more widespread in software coding ecosystems, a pressing issue has emerged: does the generated code contain social bias and unfairness, such as those related to age, gender, and race? This issue concerns the integrity, fairness, and ethical foundation of software applications that depend on the code generated by these models but are underexplored in the literature. This paper presents a novel bias testing framework that is specifically designed for code generation tasks. Based on this framework, we conduct an extensive empirical study on the biases in code generated by five widely studied LLMs (i.e., PALM-2-CodeChat-bison, Claude-instant-1, GPT-3.5-turbo, GPT-4-turbo, and GPT-4). Our findings reveal that biases are prevalent. For example, 13.47% to 49.10% of the codes generated by these LLMs have biased behaviors towards gender. Moreover, we study five bias mitigation prompt strategies that are commonly used in current code generation scenarios, i.e., zero-shot, one-shot, few-shot, and two Chain-of-Thought (CoT) prompts, with and without provided feedback-driven refinement. Our evaluation results illustrate that using direct prompt engineering strategies has limited effectiveness in mitigating bias, but our test execution feedback can help to reduce the ratio of code biases to a large extent (e.g., from 59.88% to 4.79% for GPT-4).

研究动机与目标

• 调查最先进的大型语言模型生成的代码中是否存在社会偏见（如性别、年龄和种族）。
• 开发一种可靠且自动化的框架，用于检测代码生成输出中的偏差，该框架针对代码的结构和逻辑特性进行定制。
• 评估提示工程策略在缓解大型语言模型生成代码函数中偏差的有效性。
• 为未来在公平代码生成领域的研究与开发提供可复现的基准和开源工具。

提出的方法

• 构建一组针对敏感属性任务（如基于性别或年龄的援助资格判定）的提示，以诱发LLMs生成代码。
• 使用抽象语法树（AST）解析生成的代码，提取函数名、参数和数值，以便进行系统性分析。
• 通过仅改变一个输入参数（如性别）而保持其他参数恒定，生成测试用例，以检测不一致或有偏见的行为。
• 在本地环境中执行测试用例，检查断言失败情况，以识别偏差；对运行时错误则进行人工检查。
• 定义三项指标：代码偏差评分（CBS）、CBS_U@K（多次运行中偏差的并集）和CBS_I@K（多次运行中偏差的交集），以量化偏差的普遍性和一致性。
• 应用五种基于提示的缓解策略——零样本、一hop、少样本以及两种思维链（CoT）提示——并利用偏差测试结果优化代码生成。

Figure 1 . Our code bias testing framework and a real bias example in the code generated by VS Copilot.

实验结果

研究问题

• RQ1 RQ1：在涉及性别和年龄等敏感属性的代码函数中，大型语言模型生成的代码是否存在偏差？
• RQ2 RQ2：所提出的偏差测试框架是否可靠，能够有效识别和测量代码生成输出中的偏差？
• RQ3 RQ3：提示工程策略在缓解大型语言模型生成代码中的偏差方面效果如何？

主要发现

• 在五种最先进的LLMs生成的代码函数中，有20.29%至44.93%在敏感属性任务中被发现存在偏差。
• 所提出的代码偏差测试框架通过自动化测试用例执行和基于AST的分析成功识别出偏差，对边缘情况辅以人工验证。
• 一hop和少样本提示工程策略最为有效，使GPT-4的代码偏差降低了80%至90%。
• 模型规模更大的模型并不一定产生更少的偏差输出，表明仅靠模型规模无法缓解偏差。
• 该框架的CBS指标能够有效捕捉多次模型运行中偏差的普遍性和一致性。
• 研究发现，代码生成中的偏差并非局限于特定模型，而是当前最先进的大型语言模型中普遍存在的一种系统性问题。

Figure 2 . Our code bias evaluation pipeline.