[논문 리뷰] Undesirable Biases in NLP: Addressing Challenges of Measurement

Oskar van der Wal, Dominik Bachmann외 4명|arXiv (Cornell University)|2022. 11. 24.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 심리측정학 원리—특히 구성 타당도와 신뢰도—를 적용하여 NLP 모델에서의 편향 측정을 향상시킨다. 편향을 관찰할 수 없는 구성요소로 간주하고 그 운영화를 철저히 평가함으로써, 저자들은 NLP에서 더 신뢰할 수 있고 투명하며 방법론적으로 타당한 편향 측정 도구 설계를 위한 프레임워크를 제공한다.

ABSTRACT

As Large Language Models and Natural Language Processing (NLP) technology rapidly develop and spread into daily life, it becomes crucial to anticipate how their use could harm people. One problem that has received a lot of attention in recent years is that this technology has displayed harmful biases, from generating derogatory stereotypes to producing disparate outcomes for different social groups. Although a lot of effort has been invested in assessing and mitigating these biases, our methods of measuring the biases of NLP models have serious problems and it is often unclear what they actually measure. In this paper, we provide an interdisciplinary approach to discussing the issue of NLP model bias by adopting the lens of psychometrics -- a field specialized in the measurement of concepts like bias that are not directly observable. In particular, we will explore two central notions from psychometrics, the construct validity and the reliability of measurement tools, and discuss how they can be applied in the context of measuring model bias. Our goal is to provide NLP practitioners with methodological tools for designing better bias measures, and to inspire them more generally to explore tools from psychometrics when working on bias measurement tools.

연구 동기 및 목표

• 편향 측정을 위한 신뢰할 수 있고 타당한 방법의 부족이 편향 탐지 및 완화 노력에 악영향을 미친다는 문제를 해결한다.
• 현재의 편향 측정 도구가 종종 경험적 기초가 없거나, 후속 피해와의 상관관계가 없거나, 다양한 맥락에서 일관성이 부족하다는 점을 부각시킨다.
• 편향 측정 도구의 품질을 평가하고 향상시키기 위해 심리측정학을 철저한 프레임워크로 도입한다.
• 심리학, 언어학, 사회과학의 통찰을 NLP 편향 연구에 통합함으로써 다학제적 협력을 촉진한다.
• NLP 연구자들이 투명성과 방법론적 엄밀함을 높이기 위해 구성 타당도와 신뢰도와 같은 심리측정 개념을 채택할 것을 권장한다.

제안 방법

• NLP에서의 편향을 심리측정학에서의 관찰할 수 없는 심리적 구성요소로 프레임워크화하며, 지능이나 자기통제력과 유사하게 간주한다.
• 편향의 구성요소(예: '성별 편향')와 그 운영화(예: 단어 유사도 작업) 사이의 심리측정학적 구분을 적용하여 측정 목표를 명확히 한다.
• 다양한 입력, 모델, 측정 사례 간 일관성을 평가하여 편향 측정의 신뢰도를 평가한다.
• 다른 관련 측정 도구와의 상관관계와 편향에 대한 이론적 기대와의 일치 여부를 분석함으로써 구성 타당도를 평가한다.
• 심리측정 원칙에 기반한 편향 측정 도구 설계를 위한 가이드라인 질문 세트를 제안하며, 투명성과 정당화 가능한 가정을 강조한다.
• 특히 언어적 및 문화적 맥락에서의 도메인 전문가와 이해관계자들이 도구 설계에 참여하는 것이 중요하다고 강조한다.

실험 결과

연구 질문

• RQ1 심리측정 개념인 구성 타당도와 신뢰도는 어떻게 NLP 모델의 편향 측정에 의미 있게 적용될 수 있는가?
• RQ2 현재의 NLP 편향 측정 도구들이 어느 정도의 신뢰도와 구성 타당도를 보이며, 그 정도는 어떠한가?
• RQ3 다양한 편향 운영화의 배경이 되는 핵심 가정은 무엇이며, 그것이 측정 결과에 어떤 영향을 미치는가?
• RQ4 다학제적 협력은 NLP에서 편향 측정 도구의 설계 및 평가를 어떻게 향상시킬 수 있는가?
• RQ5 편향 측정 도구를 언어 및 문화적 맥락 간 이행할 때의 한계는 무엇이며, 어떻게 이를 해결할 수 있는가?

주요 결과

• 많은 기존의 NLP 편향 측정 도구들이 신뢰도와 구성 타당도에 대한 경험적 증거가 부족하여 그 신뢰성에 대한 우려가 제기된다.
• 많은 널리 사용되는 편향 측정 도구들 간에 실제 후속 피해와의 상관관계가 거의 없거나 전혀 없어, 그것들이 주장하는 것을 측정하지 못할 가능성이 높다.
• 편향 구성요소와 그 운영화 사이의 구분은 개념적 혼동을 피하고 측정의 투명성을 높이기 위해 매우 중요하다.
• 심리측정 원리는 NLP에서 편향 측정 도구의 품질을 평가하고 향상시키기 위한 강력한 프레임워크를 제공한다.
• 한 언어나 문화적 맥락에서 개발된 편향 측정 도구는 다른 맥락으로 신뢰성 있게 이행되지 않으며, 이는 맥락에 맞는 도구 개발의 필요성을 강조한다.
• 사회과학자, 언어학자, 이해관계자들이 측정 설계 과정에 참여하는 것은 편향의 사회문화적 미묘함과 규범적 차원을 다루는 데 필수적이다.