[논문 리뷰] Prompting Fairness: Integrating Causality to Debias Large Language Models

Jingling Li, Zeyu Tang외 5명|arXiv (Cornell University)|2024. 03. 13.

Legal Education and Practice Innovations인용 수 6

한 줄 요약

본 논문은 데이터 생성 및 추론 프로세스의 인과 관계를 활용하여 LLM의 편향된 추론을 억제하고 편향 없는 추론을 촉진하는 인과 관계 기반 debiasing 프레임워크를 제안하며, black-box 접근으로 WinoBias 및 Discrim-Eval에서 강력한 실증적 debiasing을 달성한다.

ABSTRACT

Large language models (LLMs), despite their remarkable capabilities, are susceptible to generating biased and discriminatory responses. As LLMs increasingly influence high-stakes decision-making (e.g., hiring and healthcare), mitigating these biases becomes critical. In this work, we propose a causality-guided debiasing framework to tackle social biases, aiming to reduce the objectionable dependence between LLMs' decisions and the social information in the input. Our framework introduces a novel perspective to identify how social information can affect an LLM's decision through different causal pathways. Leveraging these causal insights, we outline principled prompting strategies that regulate these pathways through selection mechanisms. This framework not only unifies existing prompting-based debiasing techniques, but also opens up new directions for reducing bias by encouraging the model to prioritize fact-based reasoning over reliance on biased social cues. We validate our framework through extensive experiments on real-world datasets across multiple domains, demonstrating its effectiveness in debiasing LLM decisions, even with only black-box access to the model.

연구 동기 및 목표

• demographic 정보가 선택 메커니즘을 통해 편향된 추론을 촉발할 수 있는 방식을 분석하여 LLM 출력의 사회적 편향을 모델링하고 완화한다.
• 데이터 생성과 모델 추론의 인과 모델에 기반한 원칙적 프롬pting 프레임워크를 개발한다.
• 인시비해(prompts) 기존의 debiasing 프롬프트(억제적 및 대비적)를 인과 debiasing 전략으로 통합하고, 폐쇄형 및 개방형 액세스 모델에서 평가한다.
• 블랙박스 접근 방식만으로 LLM의 편향 제거에 대해 경험적으로 강건한 지침을 제공한다.

제안 방법

• 학습 데이터 생성 프로세스의 인과 모델을 구성하여 인구통계 정보가 어떻게 편향된 출력과 연관될 수 있는지 식별한다.
• LLM 추론의 인과 모델을 구성하고 이를 프롬프트에 의해 조절되는 선택 메커니즘을 통해 데이터 생성 모델과 연결한다.
• 출력 편향 제거를 위해 내부 표현 및 선택 경로에 조건을 부여하는 세 가지 프롬프팅 전략(전략 I–III)을 제안한다.
• 인구통계 편향에 대한 무관 사실로 방향을 틀고 기존 편향을 상쇄하기 위해 프롬프트 설계가 충족해야 할 조건을 형식화한다.
• WinoBias 및 Discrim-Eval에서 편향 제거 전략을 실험적으로 평가하고, 기본선(Default), 대비 예시를 포함한 ICL, 제로샷 COT와 비교한다.
• 편향 없는 추론을 촉진하고 편향된 추론을 억제하는 결합이 기본선보다 더 강한 debiasing를 얻는다는 것을 보인다.

실험 결과

연구 질문

• RQ1 데이터 생성과 LLM 추론의 인과 모델이 출력에서 인구통계 편향의 등장 원인을 어떻게 설명할 수 있는가?
• RQ2 블랙박스 접근 하에서 LLM의 선택 메커니즘을 제어하여 편향을 줄이도록 프롬프트 설계를 구성할 수 있는가?
• RQ3 편향 없는 추론을 촉진하거나 편향된 추론을 억제하는 전략이 LLM의 편향 제거에서 전통적 프롬프트의 기준선보다 더 나은가?
• RQ4 핵심적 대명사 해석(coreference) 작업과 실제 데이터셋에서 인과 기반 편향 제거가 성별 편향에 미치는 실증적 영향은 무엇인가?

주요 결과

• 편향 없는 추론을 촉진하고 편향된 추론을 억제하는 프롬프트는 WinoBias에서 LLM 전반의 성별 편향을 크게 감소시키며, 지지-반대 문장 간의 큰 차이를 포함한다.
• 합쳐진 Reduce + Fact 접근은 편향 간극을 최소화하며, 특정 설정에서 GPT-4가 Type I 코어퍼런스에서 2.17%, Type II에서 0.13% 간격을 보인다.
• Discrim-Eval에서 프롬프트 전략은 모든 인구통계에 걸쳐 차별을 보편적으로 감소시키며, 더 높은 능력의 모델일수록 편향 차이가 감소한다.
• 이 프레임워크는 기존의 프롬프트 기반 편향 제거 방법들을 제시된 인과 프롬프트 설계 전략의 사례로 해석함으로써 하나로 묶는다.
• 결과는 black-box 접근에서도 유지되어 폐쇄형 소스 LLM에 대한 실용적 적용 가능성을 보여준다.