[논문 리뷰] Does Gender Matter? Towards Fairness in Dialogue Systems

Haochen Liu, Jamell Dacon외 4명|arXiv (Cornell University)|2019. 10. 16.

Topic Modeling참고 문헌 42인용 수 11

한 줄 요약

이 논문은 대화 시스템에서 성별 및 인종 편향을 조사하기 위해 벤치마크 데이터셋과 정량적 공정성 메트릭(다양성, 예절, 정서, 특성어 단어)을 도입한다. 생성형 및 검색 기반 대화 모델에서 편향을 크게 감소시키는 두 가지 효과적인 탈편향 기법을 제안하며, 성능을 저하시키지 않은 채 공정성을 향상시킬 수 있음을 보여준다.

ABSTRACT

Recently there are increasing concerns about the fairness of Artificial Intelligence (AI) in real-world applications such as computer vision and recommendations. For example, recognition algorithms in computer vision are unfair to black people such as poorly detecting their faces and inappropriately identifying them as "gorillas". As one crucial application of AI, dialogue systems have been extensively applied in our society. They are usually built with real human conversational data; thus they could inherit some fairness issues which are held in the real world. However, the fairness of dialogue systems has not been well investigated. In this paper, we perform a pioneering study about the fairness issues in dialogue systems. In particular, we construct a benchmark dataset and propose quantitative measures to understand fairness in dialogue models. Our studies demonstrate that popular dialogue models show significant prejudice towards different genders and races. Besides, to mitigate the bias in dialogue systems, we propose two simple but effective debiasing methods. Experiments show that our methods can reduce the bias in dialogue systems significantly. The dataset and the implementation are released to foster fairness research in dialogue systems.

연구 동기 및 목표

• 실제 인간 대화 데이터로 훈련된 최신 대화 시스템에서 성별 및 인종 편향이 존재하는지 조사하기.
• 대화 시스템에서의 공정성에 대해 공식적으로 정의하고, 응답의 편향을 측정하기 위한 정량적 메트릭을 개발하기.
• 성별 및 인종 편향을 감소시키는 간단하면서도 효과적인 탈편향 기법을 제안하고 평가하기.
• 향후 대화 시스템의 공정성 연구를 지원하기 위해 벤치마크 데이터셋과 코드를 공개하기.

제안 방법

• 성별화된 언어 변형(예: 'he' 대비 'she')과 인종적 언어 변형(예: 표준 영어 대비 아프리카계 미국인 영어)을 포함한 쌍으로 구성된 새로운 벤치마크 데이터셋을 구축하여 모델의 행동을 조사한다.
• 네 가지 공정성 메트릭을 정의: 정서 극성 이동, 예절 점수, 응답 내용의 다양성, 스테레오타입 특성어의 빈도.
• 어휘 임베딩 탈편향 기법(예: Bolukbasi 등, 2016)을 영감으로 삼아 대화 모델 표현을 미세조정하는 성별 탈편향 기법을 적용한다.
• 데이터 증강 기반 탈편향 기법을 도입하여 훈련 샘플의 가중치를 재조정함으로써 편향된 응답 생성을 감소시킨다.
• 자동 평가와 인간 평가의 조합을 사용하여 공정성 향상 여부를 검증한다.
• 일반화 가능성을 확보하기 위해 트랜스포머 기반 아키텍처를 포함한 검색 기반 및 생성형 대화 모델 모두에서 평가를 수행한다.

실험 결과

연구 질문

• RQ1 현대 대화 시스템에서 공정성 문제, 특히 성별 및 인종 편향이 존재하는가?
• RQ2 정성적 또는 주관적 평가를 넘어서, 대화 시스템의 공정성을 어떻게 정량적으로 측정할 수 있는가?
• RQ3 성능 저하 없이도 성별 및 인종 편향을 감소시킬 수 있는 단순하면서도 효과적인 탈편향 기법을 설계하고 적용할 수 있는가?
• RQ4 탈편향 기법은 다양한 유형의 대화 모델(예: 검색 기반 대비 생성형)에서 얼마나 공정성을 향상시킬 수 있는가?

주요 결과

• 유명한 대화 모델은 심각한 성별 편향을 보이며, 프롬프트에서 'he'를 'she'로 바꾸면 응답의 정서 극성이 긍정에서 부정으로 변화한다.
• 인종적 언어 변형(예: 'this' 대비 'dis')은 아프리카계 미국인 영어를 사용할 경우 더 공격적인 응답을 유도하여 인종 편향을 드러낸다.
• 제안된 탈편향 기법은 정서 및 특성어 메트릭에서 성별 편향을 최대 40% 감소시켰으며, 응답 품질에 미치는 영향은 최소한이었다.
• 벤치마크 데이터셋은 다양한 맥락에서 편향 패턴을 성공적으로 포착하여 재현 가능한 공정성 평가를 가능하게 했다.
• 정서 기반 공정성 메트릭은 인간 평가와 강한 상관관계를 보이며, 신뢰성의 타당성을 입증했다.
• 탈편향 기법은 검색 기반 및 생성형 모델 모두에서 공정성을 향상시켜 광범위한 적용 가능성을 입증했다.