[논문 리뷰] "Im not Racist but...": Discovering Bias in the Internal Knowledge of Large Language Models

Abel Salinas, Louis Penafiel외 2명|arXiv (Cornell University)|2023. 10. 13.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 GPT-3와 같은 대규모 언어 모델(LLM)의 내부 지식에 숨겨진 스테레오타입을 자동으로 탐지하고 시각화하기 위해 프롬프트 기반, 지식 그래프 기반의 방법을 제안한다. 동적으로 편향 관련 연관성의 구조적 표현을 생성함으로써, LLM이 국적 및 사회 집단을 온기와 능력성과 어떻게 연관시키는지에 대한 체계적인 격차를 파악하며, 정적 템플릿에 의존하지 않고도 사회적 편견이 모델 지식에 뿌리내린 채로 존재하는 것을 드러낸다.

ABSTRACT

Large language models (LLMs) have garnered significant attention for their remarkable performance in a continuously expanding set of natural language processing tasks. However, these models have been shown to harbor inherent societal biases, or stereotypes, which can adversely affect their performance in their many downstream applications. In this paper, we introduce a novel, purely prompt-based approach to uncover hidden stereotypes within any arbitrary LLM. Our approach dynamically generates a knowledge representation of internal stereotypes, enabling the identification of biases encoded within the LLM's internal knowledge. By illuminating the biases present in LLMs and offering a systematic methodology for their analysis, our work contributes to advancing transparency and promoting fairness in natural language processing systems.

연구 동기 및 목표

• 수동으로 작성된 템플릿에 의존하지 않는, 민첩하고 확장 가능한 LLM 편향 탐지 방법의 부족을 해결하기 위해.
• 사회 집단과 온기 및 능력성과 같은 평가적 특성 간의 연관성을 추출하고 구조화하여 LLM 내에 내장된 스테레오타입 지식을 매핑하기 위해.
• 어떤 집단 유형(예: 인종, 성별, 국적 등)이든 상관없이, 어떤 LLM의 내부 지식 기반에서 편향을 체계적이고 자동으로 탐지하고 시각화할 수 있는 프레임워크를 제공하기 위해.
• 실무자들이 배포 이전에 잠재적 편향을 평가할 수 있도록 하여 NLP 시스템의 투명성과 공정성을 높이기 위해.
• 내부 스테레오타입이 후속 모델 동작으로 이어질 수 있는 방식을 향한 향후 분석의 기초를 마련하기 위해.

제안 방법

• Cohen 등(2023)의 연구에 영감을 얻어 프롬프트 기반 접근법을 활용하여, LLM이 사회 집단과 평가적 특성 간의 연관성을 동적으로 쿼리한다.
• 인구 통계적 집단(예: 국적, 민족)의 시드 세트를 사용하여, 'X의 사람들은 종종 ...로 여겨진다' 또는 'X는 일반적으로 ...와(과) 연관된다'와 같은 스테레오타입 연관성을 유도하는 프롬프트를 생성한다.
• 모델의 응답을 분석하고 구조화하여 지식 그래프로 변환하며, 여기서 노드는 집단과 특성, 엣지는 연관성의 강도나 가능성이다.
• 지식 그래프를 분석하여 온기와 능력성과 같은 차원에서 다양한 집단이 스테레오타입적으로 어떻게 표현되는지 패턴을 파악한다.
• 이 방법은 GPT-3에 적용되어 국적 및 사회 범주 간 편향 분포의 시각화 및 정량적 비교를 가능하게 한다.
• 추출된 연관성의 의미적 타당성을 평가하기 위해 외부 모델을 사용하지만, 이는 보조 모델의 잠재적 편견을 유발할 수 있다.

(a) Ethnicity

실험 결과

연구 질문

• RQ1 GPT-3와 같은 대규모 언어 모델의 내부 지식에 어떤 종류의 스테레오타입과 사전 개념이 내재되어 있는가?
• RQ2 온기와 능력성과 같은 특성과 사회 집단 간의 연관성은 다양한 국적과 인구 통계적 범주 간에 어떻게 다를까?
• RQ3 정적 수동 템플릿에 의존하지 않고도, 프롬프트 기반 지식 그래프 생성 접근법이 얼마나 효과적으로 편향을 드러낼 수 있는가?
• RQ4 다양한 집단 간에 능력성 관련 특성과 온기 관련 특성에 대한 스테레오타입 지식 분포는 어떻게 다를까?
• RQ5 이 방법은 차별받거나 역사적으로 낙인찍힌 집단이 LLM 지식 내에서 어떻게 표현되는지에 대한 체계적인 격차를 탐지하고 시각화할 수 있는가?

주요 결과

• 이 방법은 지식 그래프를 성공적으로 생성하여 러시아인과 같은 국적이 능력성과는 높게 연관되지만 온기와는 가장 낮게 연관되어 있음을 드러내며, 잠재적인 능력성 과잉 연관 편향을 시사한다.
• 국적이 능력성 관련 특성보다 온기 관련 특성과 더 자주 연결되는 명백한 패턴이 나타나, 스테레오타입 표현에 대한 체계적인 불균형이 있음을 시사한다.
• 일부 국적이 부정적 특성과 강하게 연관되어 있음을 확인했다—예를 들어 지식 그래프에서 '중국인'은 종종 '스테레오타입적' 또는 '부정적' 묘사와 연결되어 있었으며, 이는 훈련 데이터의 역사적 편견을 반영한다.
• 지식 그래프는 대부분의 국가가 온기와 능력성 양쪽과 연관되어 있음에도 불구하고, 이러한 연관성의 강도가 상당히 다름을 드러내었으며, 일부 집단은 특히 높거나 낮은 점수를 받았다.
• 이 방법은 LLM의 내부 지식가 훈련 데이터에 존재하는 사회적 편견을 반영하고 있음을 확인했으며, 예를 들어 일부 국적이 높은 능력성 역할에 과도하게 표현되고 온기 관련 역할에선 부족하게 표현된다는 점을 시사한다.
• 연구는 모델 지식 기반 내의 스테레오타입에 대한 인식이 반드시 생성 과정에서의 사용을 의미하지는 않지만, 이러한 지식의 존재는 후속 편향 전파의 위험을 야기한다는 점을 확인했다.

(b) Gender Identity