[논문 리뷰] Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation

Xiangjue Dong, Yibo Wang외 2명|arXiv (Cornell University)|2023. 11. 01.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 사전에 정의된 성별 어휘나 스테레오타입에 의존하지 않고, 대규모 언어 모델(LLM)의 명시적 및 암묵적 성별 편향을 탐지하기 위한 조건부 텍스트 생성 프레임워크를 제안한다. 템플릿 기반, LLM에 의해 생성된, 그리고 자연적으로 수집된 입력을 사용함으로써, 저자들은 명시적 성별 단서가 없더라도 LLM이 로그릿과 생성된 텍스트에서 상당한 성별 편향을 보임을 밝혀냈다. 이는 모델 크기가 공정성을 보장하지는 않음을 시사한다.

ABSTRACT

Large Language Models (LLMs) can generate biased and toxic responses. Yet most prior work on LLM gender bias evaluation requires predefined gender-related phrases or gender stereotypes, which are challenging to be comprehensively collected and are limited to explicit bias evaluation. In addition, we believe that instances devoid of gender-related language or explicit stereotypes in inputs can still induce gender bias in LLMs. Thus, in this work, we propose a conditional text generation mechanism without the need for predefined gender phrases and stereotypes. This approach employs three types of inputs generated through three distinct strategies to probe LLMs, aiming to show evidence of explicit and implicit gender biases in LLMs. We also utilize explicit and implicit evaluation metrics to evaluate gender bias in LLMs under different strategies. Our experiments demonstrate that an increased model size does not consistently lead to enhanced fairness and all tested LLMs exhibit explicit and/or implicit gender bias, even when explicit gender stereotypes are absent in the inputs.

연구 동기 및 목표

• 사전에 정의된 성별 어휘나 스테레오타입에 의존하는 기존 성별 편향 평가 방법의 한계를 해결하기 위해.
• 입력에 직접적인 성별 참조나 스테레오타입이 없더라도 LLM의 명시적 및 암묵적 성별 편향을 탐지하기 위해.
• 다양한 입력 전략을 사용하여 모델 행동의 숨겨진 편향을 드러내는 탐지 프레임워크를 개발하기 위해.
• 모델 크기에 따라 공정성의 차이를 평가하고, 더 큰 모델이 본질적으로 더 공정한지 확인하기 위해.
• 명시적 성별 단서가 없더라도 로그릿과 생성된 텍스트에서 성별 편향이 나타날 수 있음을 입증하기 위해.

제안 방법

• 세 가지 다른 탐지 전략을 설계: 템플릿 기반(직업, 취미, 색상 등 스테레오타입적 특성 사용), LLM에 의해 생성된(모델 출력물을 입력으로 사용), 자연적으로 수집된(STS-B 코퍼스에서).
• 이러한 입력에서 LLM을 조건화하여 계속되는 텍스트를 생성하게 하되, 성별에 따른 대명사 사용과 분포적 불균형에 초점을 맞춘다.
• 명시적 지표(예: she 대비 he 등의 성별 대명사 공출현 비율)와 암묵적 지표(성별 단어의 로그릿에 대한 젠슨-쇼난 분산도(JSD))를 사용한다.
• 생성 이전의 로그릿을 분석하여, 출력 텍스트에서 보이지 않는 잠재적 편향을 탐지한다.
• 여러 LLM(예: LLaMA 변종)에 이 프레임워크를 적용하여 모델 크기 간의 공정성 비교를 수행한다.
• 사례 연구를 통해 편향 패턴을 시각화하여, 생성된 텍스트가 중립적으로 보일 수 있지만 로그릿에는 편향이 존재함을 보여준다.

실험 결과

연구 질문

• RQ1 입력에 명시적 성별 관련 어휘나 스테레오타입이 없더라도 LLM의 성별 편향을 탐지할 수 있는가?
• RQ2 템플릿 기반, LLM에 의해 생성된, 자연적으로 수집된 등의 다양한 탐지 전략이 명시적 및 암묵적 성별 편향 탐지에 어떤 영향을 미치는가?
• RQ3 모델 크기를 늘일수록 성별 편향 완화에서 공정성이 일관되게 향상되는가?
• RQ4 성별 편향은 모델의 로그릿에 더 많이 반영되는가, 아니면 최종 생성된 텍스트에 더 많이 반영되는가?
• RQ5 직업, 취미, 성격 등 어떤 특성(예: 간호사, 기계공, 목수, 재봉, 목공, 우아함 등)에서 LLM 출력에서 가장 높은 수준의 성별 편향이 나타나는가?

주요 결과

• 입력에 명시적 성별 스테레오타입이 없더라도, LLaMA-7B 및 LLaMA-70B-chat과 같은 LLM은 대명사 사용과 로그릿에서 상당한 성별 편향을 보인다.
• 성별 단어 분포의 JSD 점수는 모델과 탐지 전략에 따라 달라지며, 모델 크기와 공정성 간 일관된 관계는 없다.
• LLaMA-70B-chat은 템플릿 기반 및 LLM에 의해 생성된 입력에서 가장 높은 JSD 점수를 기록하여, 이러한 설정에서 더 강한 편향 탐지 능력을 보였다.
• 특성 중에서 'nurse'(간호사), 'mechanic'(기계공), 'carpenter'(목수), 'sewing'(재봉), 'woodworking'(목공), 'elegant'(우아함) 등에서 가장 높은 수준의 성별 편향이 나타났다.
• 예를 들어, 'My friend is talking on the phone'(내 친구가 전화를 하고 있다)와 같은 성별 중립적 맥락에서도 모델이 여성 관련 대명사(예: she, her)에 더 높은 확률을 부여하는 경향이 있었다.
• 어떤 경우에서는 로그릿에 편향이 존재하지만 최종 생성된 텍스트에는 나타나지 않아, 표면적 출력 외부의 모델 내부를 분석하는 것이 중요하다는 점을 시사한다.