[논문 리뷰] Societal Biases in Language Generation: Progress and Challenges

Emily Sheng, Kai-Wei Chang외 2명|arXiv (Cornell University)|2021. 05. 10.

Multimodal Machine Learning Applications참고 문헌 89인용 수 12

한 줄 요약

이 논문은 자연어 생성(NLG)에서 사회적 편견에 대해 종합적인 설문 조사한 바, 사전 훈련된 모델과 디코딩 기법이 소수자 집단에 대해 편견을 악화시킬 수 있음을 밝혔다. 제안된 실험 분석은 디코딩 전략이 편견 출력에 상당한 영향을 미친다는 것을 보여주며, 챗봇과 번역기와 같은 실세계 응용에서 피해를 줄이기 위해 공정성 인식 설계를 위한 NLG 시스템의 필요성을 주장한다.

ABSTRACT

Technology for language generation has advanced rapidly, spurred by advancements in pre-training large models on massive amounts of data and the need for intelligent agents to communicate in a natural manner. While techniques can effectively generate fluent text, they can also produce undesirable societal biases that can have a disproportionately negative impact on marginalized populations. Language generation presents unique challenges for biases in terms of direct user interaction and the structure of decoding techniques. To better understand these challenges, we present a survey on societal biases in language generation, focusing on how data and techniques contribute to biases and progress towards reducing biases. Motivated by a lack of studies on biases from decoding techniques, we also conduct experiments to quantify the effects of these techniques. By further discussing general trends and open challenges, we call to attention promising directions for research and the importance of fairness and inclusivity considerations for language generation applications.

연구 동기 및 목표

• 성별, 인종, 성적 지향성과 같은 다양한 인구 통계적 차원에서 자연어 생성(NLG)의 사회적 편견을 체계적으로 조사하기 위해.
• 데이터 커리이션, 모델 아키텍처, 디코딩 기법이 NLG 시스템에서 편견 악화에 기여하는 방식을 조사하기 위해.
• 현재 연구에서의 주요 격차, 특히 디코딩 기법의 역할에 대한 연구 부족을 특정하기 위해.
• 상호작용 학습, 향상된 평가 지표, 영향 중심 프레임워크와 같은 실천 가능한 연구 방향을 제안하기 위해.
• 소수자 집단에 대한 불균형한 피해를 방지하기 위해 NLG 응용에서 공정성과 포용성의 중요성을 강조하기 위해.

제안 방법

• 자동완성, 대화, 기계 번역, 텍스트 재작성 등의 작업을 중심으로 자연어 생성(NLG)에서의 사회적 편견에 관한 기존 문헌에 대한 종합적 설문 조사 수행.
• 성별, 인종, 종교 등과 같은 인구 통계적 차원과 NLG 작업에 따라 편견을 분류하여 편견 표현 양상의 전반적 그림을 그림.
• 그리드 서치, 빔 서치, 핵심 샘플링 등의 다양한 디코딩 기법이 텍스트 생성에서 편견 출력에 미치는 영향을 정량화하기 위한 통제된 실험 수행.
• 디코딩 전략이 소수자 집단에 대해 스테레오타입적이거나 해로운 콘텐츠를 생성할 가능성을 어떻게 조절하는지 분석.
• 다양성과 인구 집단 간 대표성을 강조하는 편향 인식 데이터 커리이션 프레임워크 제안.
• 추상적인 편향 지표에서 소수자 공동체의 실제 피해를 반영하는 영향 기반 지표로의 전환 권고.

실험 결과

연구 질문

• RQ1 자기회귀 언어 모델에서 다양한 디코딩 기법이 소수자 인구 집단에 대해 편향된 콘텐츠 생성에 어떻게 영향을 미치는가?
• RQ2 현대 NLG 시스템에서 사회적 편견의 주요 원인은 무엇이며, 데이터, 모델 아키텍처, 추론 메커니즘에서 어떻게 기인하는가?
• RQ3 왜 디코딩 기법이 편견의 원인으로서 연구가 부족한가? 이 격차는 어떻게 보완할 수 있는가?
• RQ4 편향 평가 지표는 어떻게 개선되어야 하며, 그것이 범죄적 정의나 역사적 불평등을 더 잘 반영할 수 있는가?
• RQ5 상호작용적이고 지속적인 학습은 시간이 지남에 따라 더 공정한 NLG 시스템 개발에 어떤 역할을 할 수 있는가?

주요 결과

• 빔 서치나 핵심 샘플링과 같은 디코딩 기법은 스테레오타입적이거나 편향된 콘텐츠 생성 가능성을 크게 영향을 미치며, 일부 기법은 다른 기법보다 성별 및 인종 편견을 더 심화시킨다.
• 연구는 중요한 연구 격차를 밝혀냈다: 데이터와 모델 아키텍처는 널리 연구되고 있지만, 디코딩 전략은 편향 출력에 측정 가능한 영향을 미치는 데도 불구하고 여전히 연구가 부족한 상태이다.
• 기존의 편향 평가 데이터셋은 주로 이원적 성별 분류에 집중되어 있어 비이원성 또는 교차 정체성을 반영하지 못해 편향 평가의 공정성을 제한한다.
• 단어 빈도 비율에 의존하는 절대적 편향 지표는 깊은 구조적 불평등을 가리킬 수 있으며, 편향의 범죄적 정의나 사회 계층 구조와도 일치하지 않을 수 있다.
• NLG에서의 편향이 소수자 공동체에 실질적인 부정적 영향을 미친다는 점을 의미 있게 연결한 연구가 부족하여, 영향 중심 평가 프레임워크의 필요성이 강조된다.
• 저자들은 편향 중심 평가에서 피해 중심 평가로의 전환을 주장하며, 소수자 집단의 실질적 부정적 결과를 줄이는 데 중점을 둔 지표를 추진할 것을 제안한다.