[논문 리뷰] The State and Fate of Linguistic Diversity and Inclusion in the NLP World

Pratik Joshi, Sebastin Santy외 3명|arXiv (Cornell University)|2020. 04. 20.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 자원 기반 카테고리로 세계의 언어를 여섯 종류로 분류함으로써 NLP에서 언어 다양성과 포함성에 대해 조사한다. 자원 가용성과 연구 주의의 극명한 격차가 드러나며, 수량적 분석을 통해 자원, 국제 회의 발표, 임bedding 투영을 분석함으로써 소말리어와 같은 저자원 언어가 대규모 어원 어휘 수에도 불구하고 체계적으로 부족하게 다뤄지고 있음을 보여준다. 다만, 최근의 제로샷 학습 기법은 향후 포괄성 향상을 위한 희망을 제공하며, 이는 공동체가 공정한 자원 개발과 언어를 포함하는 연구 관행을 우선시할 경우에 가능하다.

ABSTRACT

Language technologies contribute to promoting multilingualism and linguistic diversity around the world. However, only a very small number of the over 7000 languages of the world are represented in the rapidly evolving language technologies and applications. In this paper we look at the relation between the types of languages, resources, and their representation in NLP conferences to understand the trajectory that different languages have followed over time. Our quantitative investigation underlines the disparity between languages, especially in terms of their resources, and calls into question the "language agnostic" status of current models and systems. Through this paper, we attempt to convince the ACL community to prioritise the resolution of the predicaments highlighted here, so that no language is left behind.

연구 동기 및 목표

• 언어 자원 가용성과 연구 주의의 격차에 초점을 맞춰 현재 NLP에서 언어 다양성과 포함성의 상태를 조사하는 것.
• 다양한 언어들 간에 어원 어휘 수와 유형학적 특징과 관련하여 레이블이 붙은 자원과 레이블이 없는 자원의 분포가 어떻게 관련되어 있는지 분석하는 것.
• 시간이 지남에 따라 ACL 회의의 포용성, 특히 언어 표현과 발표 추세 측면에서 어떻게 변화했는지 평가하는 것.
• 자원 가용성이 연구 주제 선택, 발표 장소, NLP 시스템 일반화 범위에 영향을 미치는 정도를 평가하는 것.
• 언어 불균형을 줄이고 진정으로 언어에 관계없이 적용 가능한 모델을 만들기 위해 NLP 공동체가 취할 수 있는 실천 가능한 조치를 규명하는 것.

제안 방법

• 레이블이 붙은 자원과 레이블이 없는 자원의 수에 기반한 여섯 종류의 언어 분류 체계를 제안하여 언어의 디지털 존재를 체계적으로 분류할 수 있도록 한다.
• LDC, ELRA, LRE, 위키백과, Common Crawl 등의 주요 NLP 자원 레포지터리에서 데이터를 수집하고 분석하여 언어별 자원 가용성을 정량화한다.
• 2000년에서 2020년 사이에 ACL, NAACL, EACL, EMNLP, LREC, WS에서 특정 언어(X와 Y)를 언급한 회의 논문 수를 추적하여 연구 시각성 수준을 평가한다.
• 엔트로피 계산과 t-SNE 시각화를 포함한 다변량 통계 기법을 적용하여 언어 및 회의 임베딩 공간을 분석한다.
• 다양한 K 값에서 평균 역수 순위(MRR)를 사용하여 검색 성능과 언어 클래스 간 연구 주의 수준을 측정한다.
• 언어 임베딩과 회의 임베딩 간의 거리를 평가하여, 회의가 발표 추세에서 언어 다양성을 얼마나 잘 반영하고 있는지 평가한다.

실험 결과

연구 질문

• RQ1 세계의 7000개 이상의 언어들 사이에서 레이블이 붙은 자원과 레이블이 없는 자원은 어떻게 분포되어 있으며, 이는 어원 어휘 수와 어떤 관련이 있는가?
• RQ2 어떤 유형학적 특징들이 특정 언어에서 자료와 연구가 부족함으로써 현재 NLP 시스템에서 부족하게 다뤄지고 있는가?
• RQ3 ACL 공동체는 시간이 지남에 따라 언어적으로 더 포용적인가? 특히 이전 세기와 비교하여 말이다.
• RQ4 자원 가용성이 NLP에서 연구 주제 선택과 발표 장소 선정에 얼마나 큰 영향을 미치는가?
• RQ5 개별 연구자와 공동체는 NLP에서 언어-자원 격차를 줄이기 위해 어떤 역할을 할 수 있는가?

주요 결과

• 언어는 체계적으로 여섯 종류의 자원 기반 카테고리로 분류되며, 자원이 매우 적은 클래스 0과 자원이 많은 클래스 5 사이에 연구 시각성에서 가장 뚜렷한 격차가 존재한다.
• 1,800만 명의 어원 어휘 수를 가진 소말리어(Y)는 위키백과에 5,500개의 기사만 있었고, LDC/ELRA 자원에선 단지 2개에 불과했지만, 네덜란드어(X)는 2,900만 명의 어원 어휘 수를 가졌고 LDC/ELRA 자원에선 69개에 이르렀다.
• 저자원 언어인 버마어(MRR=0.02, K=10), 자와어(MRR=0.23), 이그보어(MRR=0.13)의 MRR 점수는 일본어, 중국어, 터키어, 힌두어와 같은 고자원 언어들(MRR > 0.75, K=10)에 비해 유의미하게 낮아 연구 주의가 극히 미미하다는 것을 보여준다.
• LREC와 WS 회의는 더 높은 포용성을 보였으며, 임베딩과 MRR 통계가 ACL이나 NAACL보다 다양한 언어 군집에 더 가까이 위치해 있어 더 넓은 언어 커버리지가 있음을 시사한다.
• 임베딩 시각화 결과, 저자원 언어들은 ACL 추세선에서 더 멀리 떨어져 있음을 보여주며, 시간이 지남에 따라 기술적·연구적 격차가 커지고 있음을 시사한다.
• NLP 연구에는 명백한 시간적 진행이 존재하며, 새로운 회의는 더 많은 언어 포용 경향을 보이고 있지만, 오래된 회의들은 여전히 좁은 범위의 주요 언어들과 주제에 집중되어 있다.