[논문 리뷰] Bias Testing and Mitigation in LLM-based Code Generation

Dong Huang, Jie Zhang외 4명|arXiv (Cornell University)|2023. 09. 03.

Ethics and Social Impacts of AI인용 수 7

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 생성한 코드에서 성별 및 연령과 같은 사회적 편향을 탐지하기 위한 새로운 편향 테스팅 프레임워크를 제안한다. 다섯 개의 최신 기술(LLMs)을 평가한 결과, 생성된 함수의 20.29%에서 44.93%가 편향을 보였으며, 프롬프트 기반의 완화 전략, 특히 일-샷 및 소수의 예시를 활용한 학습 방식이 GPT-4에서 편향을 80~90% 감소시켰다.

ABSTRACT

As the adoption of LLMs becomes more widespread in software coding ecosystems, a pressing issue has emerged: does the generated code contain social bias and unfairness, such as those related to age, gender, and race? This issue concerns the integrity, fairness, and ethical foundation of software applications that depend on the code generated by these models but are underexplored in the literature. This paper presents a novel bias testing framework that is specifically designed for code generation tasks. Based on this framework, we conduct an extensive empirical study on the biases in code generated by five widely studied LLMs (i.e., PALM-2-CodeChat-bison, Claude-instant-1, GPT-3.5-turbo, GPT-4-turbo, and GPT-4). Our findings reveal that biases are prevalent. For example, 13.47% to 49.10% of the codes generated by these LLMs have biased behaviors towards gender. Moreover, we study five bias mitigation prompt strategies that are commonly used in current code generation scenarios, i.e., zero-shot, one-shot, few-shot, and two Chain-of-Thought (CoT) prompts, with and without provided feedback-driven refinement. Our evaluation results illustrate that using direct prompt engineering strategies has limited effectiveness in mitigating bias, but our test execution feedback can help to reduce the ratio of code biases to a large extent (e.g., from 59.88% to 4.79% for GPT-4).

연구 동기 및 목표

• 최신 기술의 LLMs가 생성한 코드에 성별, 연령, 인종과 같은 사회적 편향이 존재하는지 조사하기.
• 코드의 구조적이고 논리적인 특성에 맞게 설계된, 신뢰성 있고 자동화된 편향 탐지 프레임워크를 개발하기.
• 프롬프트 엔지니어링 전략이 LLM이 생성한 코드 기능에서 편향을 완화하는 데 얼마나 효과적인지 평가하기.
• 향후 공정한 코드 생성 분야의 연구 및 개발을 위해 재현 가능한 벤치마크와 오픈소스 도구를 제공하기.

제안 방법

• 성별이나 연령과 같은 민감한 속성을 기반으로 한 지원 자격 기준과 같은 편향 민감 작업을 대상으로 프롬프트 세트를 구성하여 LLM으로부터 코드를 유도하기.
• 추상 구문 트리(Abstract Syntax Trees, AST)를 사용해 생성된 코드를 파싱하여 함수 이름, 매개변수 및 값을 체계적으로 분석하기.
• 하나의 입력 매개변수(예: 성별)만을 변화시키고 나머지는 일정하게 유지함으로써, 비일관되거나 편향된 동작을 탐지하기 위한 테스트 케이스 생성하기.
• 로컬 환경에서 테스트 케이스를 실행하여 액세서티 실패 여부를 확인함으로써 편향 여부를 검증하고, 런타임 오류는 수동 검토를 통해 확인하기.
• 편향의 일반성과 일관성을 측정하기 위해 세 가지 지표 정의: 코드 편향 점수(Code Bias Score, CBS), CBS_U@K(여러 런에 걸친 편향 집합의 유니온), CBS_I@K(교집합 집합)를 사용하기.
• 편향 테스팅 결과를 바탕으로, 편향 완화를 위한 다섯 가지 프롬프트 기반 전략(제로샷, 일샷, 소수의 예시, 두 개의 체인 오브 톰(Chain-of-Thought, CoT) 프롬프트) 적용하기.

Figure 1 . Our code bias testing framework and a real bias example in the code generated by VS Copilot.

실험 결과

연구 질문

• RQ1 RQ1: 성별이나 연령과 같은 민감한 속성이 포함된 함수에서 LLM이 생성한 코드에 편향이 존재하는가?
• RQ2 RQ2: 제안된 편향 테스팅 프레임워크는 코드 생성 출력에서 편향을 신뢰성 있게 식별하고 측정하는 데 효과적인가?
• RQ3 RQ3: 프롬프트 엔지니어링 전략은 LLM이 생성한 코드에서 편향을 완화하는 데 얼마나 효과적인가?

주요 결과

• 다섯 개의 최신 기술 LLM에서 생성된 코드 기능 중 20.29%에서 44.93%가 편향 민감 작업에서 편향을 보였다.
• 제안된 코드 편향 테스팅 프레임워크는 자동화된 테스트 케이스 실행과 AST 기반 분석을 통해 편향을 성공적으로 탐지했으며, 극단적인 케이스에 대해서는 수동 검증을 수행했다.
• 일샷 및 소수의 예시를 활용한 프롬프트 엔지니어링 전략이 가장 효과적이었으며, GPT-4에서 코드 편향을 80%에서 90% 감소시켰다.
• 모델의 크기가 크다고 해서 반드시 더 적은 편향을 유발하는 것은 아니며, 모델 규모만으로는 편향을 완화할 수 없다는 것을 시사한다.
• 프레임워크의 CBS 지표는 여러 모델 런에 걸쳐 편향의 일반성과 일관성을 효과적으로 캡처했다.
• 이 연구는 편향이 특정 모델에 국한되지 않고 현재의 최신 기술 LLM 전반에 걸쳐 시스템적 문제임을 드러냈다.

Figure 2 . Our code bias evaluation pipeline.