[논문 리뷰] Evaluating the Diversity, Equity and Inclusion of NLP Technology: A Case Study for Indian Languages

Simran Khanuja, Sebastian Ruder외 1명|arXiv (Cornell University)|2022. 05. 25.

Speech and dialogue systems인용 수 4

한 줄 요약

이 논문은 다양성, 공정성, 포용성을 기반으로 한 NLP 기술에 대한 통합 평가 프레임워크를 제안하며, 언어적 공정성을 정량화하기 위해 지니 계수를 사용한다. 이 프레임워크는 인도어 언어에 적용되어 모델 성능의 심각한 불균형을 드러내며, 테스트 세트 최적화를 위한 새로운 계산 기반 방법을 제안하여 균일하거나 단일 소스 전략보다 뛰어난 성능을 보인다.

ABSTRACT

In order for NLP technology to be widely applicable, fair, and useful, it needs to serve a diverse set of speakers across the world's languages, be equitable, i.e., not unduly biased towards any particular language, and be inclusive of all users, particularly in low-resource settings where compute constraints are common. In this paper, we propose an evaluation paradigm that assesses NLP technologies across all three dimensions. While diversity and inclusion have received attention in recent literature, equity is currently unexplored. We propose to address this gap using the Gini coefficient, a well-established metric used for estimating societal wealth inequality. Using our paradigm, we highlight the distressed state of current technologies for Indian (IN) languages (a linguistically large and diverse set, with a varied speaker population), across all three dimensions. To improve upon these metrics, we demonstrate the importance of region-specific choices in model building and dataset creation, and more importantly, propose a novel, generalisable approach to optimal resource allocation during fine-tuning. Finally, we discuss steps to mitigate these biases and encourage the community to employ multi-faceted evaluation when building linguistically diverse and equitable technologies.

연구 동기 및 목표

• 다양한 차원의 평가가 부족한 NLP 분야를 해결하기 위해 언어 수준에서 다양성, 공정성, 포용성을 평가하는 프레임워크를 도입한다.
• 기존 소득 불균형에 사용되던 지니 계수를 활용해 NLP 모델의 언어적 공정성을 정량화한다.
• 언어적으로 다양하고 희소한 자료가 존재하는 저자원 인도어 언어에 대한 편향을 식별하고 완화한다.
• 다국어 환경에서 피팅 테이닝 동안 최적의 애너테이션 예산 할당을 위한 데이터 효율적이고 알고리즘 기반의 접근법을 제안한다.
• 모델의 포용성을 향상시키기 위해 공동체 중심의 기초 수준의 데이터 수집과 대표성 있는 평가 세트를 주장한다.

제안 방법

• 저자들은 언어에 종속되지 않는 평가 철학을 정의하며, 말하는 사람 인구 수 가중치 기반의 작업 성능으로 다양성을 측정하고, 언어 간 모델 성능의 지니 계수로 공정성을 측정하며, 모델의 효율성과 구현 가능성으로 포용성을 측정한다.
• 이 프레임워크를 사용해 23개의 인도어 언어에서 NER, POS, NLI, QA의 네 가지 NLP 작업에 대해 최신 다국어 모델을 평가한다.
• 저자원 언어에서의 성능 향상을 위해 지역별 사전학습과 피팅 테이닝 중 힌두어를 전이 언어로 사용하는 것이 핵심 모델링 전략으로 평가된다.
• 다양한 원천 언어 간의 소스-타겟 언어 공간을 모델링하고, 제시된 지표에서 최고의 성능을 내기 위해 여러 원천 언어에 걸쳐 최적의 애너테이션 예산 할당을 도출하는 새로운 계산 방법을 제안한다.
• 이 방법은 예측된 성능 향상에 기반해 레이블링 자원을 할당하는 근사 알고리즘을 사용하며, 균일하거나 단일 소스 선택 전략보다 뛰어난 성능을 보인다.
• 연구는 저자원, 공동체 참여 기반의 데이터 수집의 중요성과 진전을 추적하기 위한 대표성 있는 평가 세트의 필요성을 강조한다.

실험 결과

연구 질문

• RQ1 현재 NLP 모델이 인도어 언어 간에 어느 정도 공정한가? 그리고 언어적 불균형은 어떻게 정량화할 수 있는가?
• RQ2 지역별 사전학습과 전이 언어 선택은 저자원 인도어 언어에서의 모델 성능에 어떤 영향을 미치는가?
• RQ3 다양한 원천 언어에 걸쳐 고정된 애너테이션 예산을 최적으로 할당하면, 후속 성능과 포용성은 어떻게 향상되는가?
• RQ4 모델의 효율성과 런타임은 저연산 환경에서 NLP 기술의 실질적 포용성에 어떤 영향을 미치는가?
• RQ5 공동체 중심의 데이터 수집은 평가 세트의 언어 다양성과 대표성 향상에 어떤 역할을 할 수 있는가?

주요 결과

• 지니 계수는 인도어 언어 간에 심각한 성능 불균형을 드러내며, 높은 성능을 보이는 언어가 비례를 초월해 모델 용량을 더 많이 차지하고 있음을 보여준다.
• 지역별 사전학습 모델과 피팅 테이닝 중 힌두어를 전이 언어로 사용할 경우, 대부분의 인도어 언어에서 가장 높은 성능을 기록한다.
• 작은 모델은 POS 태깅과 같은 구문 분석 작업에서 더 효율적이며, 더 큰 모델은 NLI나 QA와 같은 의미 분석 작업에서 더 뛰어난 성능을 보인다.
• 제안된 계산 기반의 애너테이션 할당 방법은 다양한 언어에서 모델 성능 향상 측면에서 균일 또는 단일 소스 데이터 선택 전략을 모두 능가한다.
• 공식적으로 인정된 많은 인도어 언어에 평가 데이터가 부족하여 벤치마킹과 진전 추적의 심각한 격차를 드러낸다.
• 최적의 모델링 전략을 사용하더라도 현재 NLP 시스템은 모든 인도어 언어 사용자에게 공정하고 포용적인 배포를 달성하기에는 여전히 멀리 떨어져 있다.