[논문 리뷰] On Measures of Biases and Harms in NLP

Sunipa Dev, Emily Sheng외 9명|arXiv (Cornell University)|2021. 08. 07.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 사회심리학과 언어학에 기반한 분류 체계를 활용하여 NLP의 편향 측정치를 특정 사회적 해악, 예를 들어 무시당함, 고정관념 형성, 경시함 등과 정렬하는 실용적인 프레임워크를 제안한다. 이는 편향 측정치의 범위, 한계, 의도된 해악을 명확히 하기 위한 문서화 질문을 도입하며, 동일한 작업에서 설계 선택에 따라 다른 해악을 측정할 수 있음을 보여주는 사례 연구를 통해 검증된다.

ABSTRACT

Recent studies show that Natural Language Processing (NLP) technologies propagate societal biases about demographic groups associated with attributes such as gender, race, and nationality. To create interventions and mitigate these biases and associated harms, it is vital to be able to detect and measure such biases. While existing works propose bias evaluation and mitigation methods for various tasks, there remains a need to cohesively understand the biases and the specific harms they measure, and how different measures compare with each other. To address this gap, this work presents a practical framework of harms and a series of questions that practitioners can answer to guide the development of bias measures. As a validation of our framework and documentation questions, we also present several case studies of how existing bias measures in NLP -- both intrinsic measures of bias in representations and extrinsic measures of bias of downstream applications -- can be aligned with different harms and how our proposed documentation questions facilitates more holistic understanding of what bias measures are measuring.

연구 동기 및 목표

• NLP 편향 측정치와 실제 사회적 해악 간의 명확한 정렬 부족 문제를 해결하기 위해.
• 무시당함, 고정관념 형성, 인격모독 등 NLP 시스템에서의 해악을 분류하기 위한 실용적이고 이론에 기반한 프레임워크를 개발하기 위해.
• 편향 측정치의 범위, 인구집단 집중, 한계를 명확히 하는 표준화된 문서화 질문 세트를 만들기 위해.
• 동일한 NLP 작업 내에서 서로 다른 편향 측정치가 서로 다른 해악을 측정할 수 있음을 보여주는 사례 연구를 통해 프레임워크를 검증하기 위해.
• NLP 응용 분야 전반에서 편향 평가 방법의 투명성과 비교 가능성 향상을 위해.

제안 방법

• 사회심리학과 언어학에서 유래한 해악 분류 체계를 제안하며, 이는 무시당함, 고정관념 형성, 경시함, 인격모독, 서비스 품질(QoS) 악화를 포함한다.
• 편향 측정치의 인구집단, 작업 맥락, 데이터셋, 측정치 정의, 의도된 해악을 명확히 하기 위한 10개의 문서화 질문 세트를 도입한다.
• 핵심 참조 해소, NLI, 감성 분석, 질의 응답 등 다양한 작업에서 43개의 기존 편향 측정치를 분석하기 위해 프레임워크를 적용한다.
• 사례 연구를 통해 동일한 작업에 적용되더라도 신분어를 사용하는 측정치와 직업어를 사용하는 측정치가 서로 다른 해악을 타겟으로 할 수 있음을 보여준다.
• 편향의 운영화 방식(예: 감성, 존중, 고정관념적 연관성 등을 통해)에 따라 편향 측정치를 분류하고, 이를 특정 해악 유형과 연결한다.
• 일부 측정치가 다수의 해악을 혼동하거나 좁은 설계 선택으로 인해 핵심 사회적 영향을 포착하지 못함을 보여주는 방식으로 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 NLP의 편향 측정치가 무시당함이나 고정관념 형성과 같은 특정 사회적 해악과 어떻게 체계적으로 정렬될 수 있는가?
• RQ2 기존 편향 측정치가 다양한 NLP 작업과 인구집단에서 '편향'을 어떻게 운영화하는가에 대한 주요 변동 요소는 무엇인가?
• RQ3 데이터셋 구성, 측정치 정의, 인구집단 대상 설정의 차이가 편향 측정치가 포착하는 해악의 유형에 어떻게 영향을 미치는가?
• RQ4 현재의 편향 평가 관행이 NLP 시스템에서 발생하는 사회적 해악의 전반적인 스펙트럼을 얼마나 잘 포착하지 못하는가?
• RQ5 편향 측정치의 투명성, 비교 가능성, 실천 가능성을 높이기 위해 문서화 관행은 어떻게 개선될 수 있는가?

주요 결과

• 프레임워크는 기존 43개의 편향 측정치를 특정 해악에 매핑하는 데 성공했으며, 많은 측정치가 다수의 해악 유형을 혼동하거나 오직 한 가지(예: 오직 고정관념 형성 또는 오직 무시당함)에만 집중하는 것으로 드러났다.
• 신분어를 사용하는 측정치는 일반적으로 경시함이나 인격모독 같은 해악을 평가하는 데 쓰이며, 직업어 관련 프롬프트를 사용하는 측정치는 주로 무시당함이나 고정관념 형성을 탐지한다.
• 핵심 참조 해소와 같은 동일한 작업 내에서도 서로 다른 측정치가 서로 다른 해악을 감지한다: 예를 들어, Webster 등(2018)은 QoS를 측정하지만, Cao와 Daumé III(2020)는 무시당함과 QoS를 모두 포착한다.
• Sheng 등(2019)에서 사용된 '존중 수준' 측정치는 사회적 인식에 민감하지만, 감성 또는 정서어 분석을 통해 감지 가능한 편향을 놓칠 수 있다.
• 템플릿 기반의 데이터 코딩 방법은 확장성은 있지만, 템플릿 제작자로부터 유래한 문법적 및 의미적 편향을 유발할 위험이 있어 일반화 능력을 제한한다.
• 단일 편향 측정치로는 모든 해악을 포괄할 수 없으며, 감성, 존중 수준, 정서 기반 측정치 등을 조합한 다각적 평가가 더 종합적인 평가를 가능하게 한다.