[논문 리뷰] Trustworthy Social Bias Measurement

Rishi Bommasani, Percy Liang|arXiv (Cornell University)|2022. 12. 20.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 사회과학에서 유래한 측정 모델링 기법을 활용해 NLP에서의 사회적 편향을 측정하기 위한 신뢰할 수 있는 프레임워크를 제안한다. DivDist는 NLP 설정 간의 호환성과 다중 그룹 비교를 보장하는 일반적인 편향 측정 프레임워크이며, 철저한 8가지 기준 테스트 프로토콜을 통해 측정치의 타당성을 검증하여 이전 방법들보다 더 강한 경험적 타당성을 입증한다. 이는 실제 고용 추세와의 상관관계 및 GPT-2에서의 편향 증폭 탐지와 관련하여 입증된다.

ABSTRACT

How do we design measures of social bias that we trust? While prior work has introduced several measures, no measure has gained widespread trust: instead, mounting evidence argues we should distrust these measures. In this work, we design bias measures that warrant trust based on the cross-disciplinary theory of measurement modeling. To combat the frequently fuzzy treatment of social bias in NLP, we explicitly define social bias, grounded in principles drawn from social science research. We operationalize our definition by proposing a general bias measurement framework DivDist, which we use to instantiate 5 concrete bias measures. To validate our measures, we propose a rigorous testing protocol with 8 testing criteria (e.g. predictive validity: do measures predict biases in US employment?). Through our testing, we demonstrate considerable evidence to trust our measures, showing they overcome conceptual, technical, and empirical deficiencies present in prior measures.

연구 동기 및 목표

• 기존 NLP 편향 측정 방법에 대한 신뢰 문제를 해결하기 위해 개념적, 기술적, 경험적 결함이 존재하는 데 기인한 바.
• 사회과학 원칙을 활용해 사회적 편향을 명시적으로 정의함으로써 모호하거나 일관되지 않은 정의를 넘어서기 위해.
• 텍스트, 임베딩, 문맥적 표현 등 다양한 NLP 표현에 적용 가능한 일반적이고 호환성 있으며 다중 그룹 비교를 지원하는 편향 측정 프레임워크(즉, DivDist)를 설계하기 위해.
• 측정 모델링 이론에 기반한 철저하고 표준화된 테스트 프로토콜을 마련하여 편향 측정치의 타당성을 검증하기 위해.
• 현재 사용 중인 편향 제거 방법이 실패하거나 오히려 편향을 악화시킬 수 있음을 입증함으로써, 이들의 효과성에 대한 일반적인 가정을 도전하기 위해.

제안 방법

• 사회과학 원칙에 기반해 사회적 편향의 정의를 명시적으로 설정함으로써, 이는 범주 기준 기반의 상대적 현상으로 간주되며, 규범적 기준 프레임워크에 의존함을 강조한다.
• 확률 분포 간 통계적 발산을 기반으로 한 일반적 프레임워크인 DivDist를 제안하여 다양한 NLP 표현 간의 편향을 측정한다.
• 다양한 NLP 설정(예: 텍스트, 단어 임베딩, 문맥적 표현) 간 일관된 측정을 보장함으로써 호환성을 확보한다.
• 이중 그룹 비교를 넘어서 다수의 규범적 기준 프레임워크를 허용하는 다중 그룹 편향 측정을 지원한다.
• 측정 모델링 이론에서 유도된 8가지 기준(예: 예측 타당성, 수렴 타당성)을 포함한 테스트 프로토콜을 설계하여 편향 측정치의 타당성을 검증한다.
• 실제 세계 데이터(예: 미국 고용 추세)와 모델 동작(예: GPT-2)을 대상으로 한 경험적 테스트를 통해 측정치 성능을 평가한다.

실험 결과

연구 질문

• RQ1 이론적으로 타당하고 경험적으로 실행 가능한 방식으로 NLP에서 사회적 편향을 어떻게 정의할 수 있는가?
• RQ2 NLP에서 신뢰할 수 있는 편향 측정치가 되기 위해 어떤 기준을 충족해야 하는가?
• RQ3 다양한 NLP 표현 간 일관되고 비교 가능한 편향 측정이 보장되는 일반적 프레임워크를 설계할 수 있는가?
• RQ4 기존의 편향 측정치가 타당성, 신뢰성, 개념적 일관성 측면에서 얼마나 실패하는가?
• RQ5 현재 사용 중인 편향 제거 방법은 진정으로 편향을 줄이는가, 아니면 더 엄격한 평가에서 실패하거나 오히려 편향을 증폭시키는가?

주요 결과

• 단어 임베딩 편향 측정치는 실제 미국 고용 추세와 강한 상관관계를 보이며, 일부 이전 측정치는 상관관계가 없거나 반대 상관관계를 보여, 더 뛰어난 예측 타당성을 입증한다.
• GPT-2 표현은 학습 데이터 대비 편향을 증폭시키지만, 이 증폭은 샘플링 과정에서는 잠재된 상태로 남아 있어 편향 탐지의 심각한 격차를 드러낸다.
• 편향 제거 방법은 제안된 측정치에 따르면 종종 편향을 줄이지 못하고 오히려 증가시킬 수 있으며, 이는 그 효과성과 의미의 허구성을 의심하게 한다.
• 제안된 테스트 프로토콜은 이전 측정치의 개념적 결함과 경험적 결함(예: 예측 타당성 및 신뢰성 부족)을 성공적으로 식별한다.
• DivDist 프레임워크는 다양한 NLP 설정 간 일관되고 비교 가능한 편향 측정을 가능하게 하여 광범위한 도입과 모델 간 비교를 지원한다.
• 이 연구는 측정 모델링이 다양한 평가 노력을 동일한 이론적 프레임워크 아래 통합하는 강력하고 표준화된 시각을 제공함을 입증한다.