[논문 리뷰] Is Machine Learning Speaking my Language? A Critical Look at the NLP-Pipeline Across 8 Human Languages

Esma Wali, Yan Chen외 5명|arXiv (Cornell University)|2020. 07. 11.

Topic Modeling참고 문헌 18인용 수 10

한 줄 요약

이 논문은 영어, 중국어, 우르두어, 페르시아어, 아랍어, 프랑스어, 스페인어, 월로프어 등 8개의 인도적 언어에 걸쳐 NLP 파이프라인을 철저히 분석하여, 기술적 다국어 지원이 존재하더라도 데이터 편향과 언어적 불평등으로 인해 체계적인 소외 현상이 지속됨을 드러낸다. 저자들은 언어가 지원된다 해도 NLP 시스템이 주로 우세한 언어의 목소리를 강화하고 다른 언어를 간과함으로써 인공지능 기반 의사결정에서의 공정성을 해친다는 점을 입증한다.

ABSTRACT

Natural Language Processing (NLP) is increasingly used as a key ingredient in critical decision-making systems such as resume parsers used in sorting a list of job candidates. NLP systems often ingest large corpora of human text, attempting to learn from past human behavior and decisions in order to produce systems that will make recommendations about our future world. Over 7000 human languages are being spoken today and the typical NLP pipeline underrepresents speakers of most of them while amplifying the voices of speakers of other languages. In this paper, a team including speakers of 8 languages - English, Chinese, Urdu, Farsi, Arabic, French, Spanish, and Wolof - takes a critical look at the typical NLP pipeline and how even when a language is technically supported, substantial caveats remain to prevent full participation. Despite huge and admirable investments in multilingual support in many tools and resources, we are still making NLP-guided decisions that systematically and dramatically underrepresent the voices of much of the world.

연구 동기 및 목표

• 기본 토큰화를 초과하여도 다국어 NLP 파이프라인이 비우세 언어를 체계적으로 소외시키는 방식을 조사하기 위해.
• 비우세 언어를 사용하는 이들에게 공정한 참여를 방해하는 언어적 및 기술적 장벽을 특정하기 위해.
• 이력서 심사와 같은 고위험 의사결정 시스템에서 NLP 편향의 실제 영향을 강조하기 위해.
• 다양한 언어의 모국어 사용자로부터 직접적인 기여를 받는 참가형 언어 포함 설계를 통해 NLP 개발에 나서기 위해.

제안 방법

• 모국어 연구자들이 사용하는 8개 언어를 대상으로 표준 NLP 파이프라인의 다국어 분석을 수행하였다.
• 각 언어의 훈련 데이터, 토큰화, 그리고 후속 NLP 작업에서의 표현 정도를 평가하였다.
• spaCy, 허깅페이스 등 NLP 툴링의 정량적 및 정성적 평가를 통해 언어 간 격차를 탐지하였다.
• 모국어 사용자로부터 NLP 출력의 언어적 및 문화적 정확성에 대한 통찰을 수집하였다.
• 토큰화, 임베딩, 분류 등의 파이프라인 단계를 매핑하여 언어 편향이 언제 도입되는지 파악하였다.
• 참여형 설계 원칙을 활용하여 모국어 전문가들과 함께 시스템 성능을 공동 평가하였다.

실험 결과

연구 질문

• RQ1 현재 NLP 파이프라인이 기본 토큰화를 초과하여 비우세 언어를 얼마나 잘 지원하는가?
• RQ2 언어적 및 문화적 차이가 다양한 언어 간 NLP 시스템의 성능과 공정성에 어떻게 영향을 미치는가?
• RQ3 NLP 툴링과 데이터에 내재된 체계적 편향은 어떤 것이며, 특정 언어의 소외를 초래하는가?
• RQ4 모국어 사용자가 다국어 NLP 시스템의 평가 및 개선에 어떻게 기여할 수 있는가?
• RQ5 채용과 같은 고위험 응용 분야에서 NLP 편향의 실제 영향은 무엇인가?

주요 결과

• 언어가 기술적으로 지원된다고 해도, 데이터 부족과 모델 편향으로 인해 언어적 뉘앙스를 제대로 포착하지 못하는 경우가 많다.
• 영어와 중국어에 비해 월로프어, 우르두어, 페르시아어는 다국어 툴킷에 포함되어 있음에도 불구하고 NLP 성능이 뚜렷하게 떨어졌다.
• 토큰화 및 서브워드 분할 방법은 형태적으로 풍부한 언어를 자주 잘못 표현하여 후속 작업의 정확도를 떨어뜨린다.
• 모국어 사용자들은 비모국어 평가자들이 알아차리지 못하는 중요한 문화적 및 문법적 불일치를 식별하였다.
• 이 연구는 다국어 NLP 도구가 비록 공식적으로 지원하는 언어라도 주로 우세 언어 사용자의 목소리를 강화하고 다른 언어를 간과함을 드러냈다.
• 모국어 사용자와의 참여 평가 과정에서 기존에 발견되지 않았던 모델 행동 및 데이터 정제 관행의 편향을 밝혀냈다.