[논문 리뷰] Towards Bridging the Digital Language Divide

Gábor Bella, Paula Helm외 2명|arXiv (Cornell University)|2023. 07. 25.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 공동체 기반의 협업 개발 방식을 통해 다양성 인식이 반영된 어휘 자원을 구축함으로써 다국어 AI에서 언어적 편향을 줄이기 위한 LiveLanguage 이니셔티브를 소개한다. 참가자 중심의 방법론을 통해 현지 언어를 글로벌 어휘 데이터베이스(UKC)에 통합함으로써 공정한 표현과 상호언어적 연결성을 실현하고, 윤리적이고 편향이 적은 언어 기술 설계를 촉진한다.

ABSTRACT

It is a well-known fact that current AI-based language technology -- language models, machine translation systems, multilingual dictionaries and corpora -- focuses on the world's 2-3% most widely spoken languages. Recent research efforts have attempted to expand the coverage of AI technology to `under-resourced languages.' The goal of our paper is to bring attention to a phenomenon that we call linguistic bias: multilingual language processing systems often exhibit a hardwired, yet usually involuntary and hidden representational preference towards certain languages. Linguistic bias is manifested in uneven per-language performance even in the case of similar test conditions. We show that biased technology is often the result of research and development methodologies that do not do justice to the complexity of the languages being represented, and that can even become ethically problematic as they disregard valuable aspects of diversity as well as the needs of the language communities themselves. As our attempt at building diversity-aware language resources, we present a new initiative that aims at reducing linguistic bias through both technological design and methodology, based on an eye-level collaboration with local communities.

연구 동기 및 목표

• 다국어 AI 시스템에서 자원이 부족한 언어가 체계적인 표현적 열등성을 겪는 언어적 편향을 특정하고 이를 해결하고자 한다.
• 지역 언어와 문화적 복잡성을 간과하는 전통적인 상향식 전문가 중심의 언어 기술 개발 모델에 도전하고자 한다.
• 소수어 및 지역 언어가 디지털 인프라에서 간과당하지 않도록 보장하기 위해 언어 다양성을 AI의 핵심 설계 원칙으로 삼고자 한다.
• 문화 정체성을 유지하고 공정한 접근성을 보장하는 지속 가능한 공동체 주도의 다국어 어휘 자원 개발 모델을 구축하고자 한다.
• 지역 기관 및 어휘 사용자와의 협업을 통해 편향을 줄이는 확장 가능하고 윤리적으로 기반을 둔 방법론을 입증하고자 한다.

제안 방법

• 허브(무역) 언어와 위성(현지) 언어를 모두 수용하는 계층적 다국어 프레임워크 내에서 다양성 인식이 반영된 어휘 데이터 모델을 설계한다.
• 표준화되고 개방된 방식으로 다국어 어휘 자료에 접근할 수 있도록 하는 중앙집중식 LiveLanguage 데이터 카탈로그를 구축한다.
• 지역 기관이 자원 개발을 주도하고 LiveLanguage가 도구, 교육, 인프라 지원을 제공하는 협업 기반 개발 파이프라인을 구현한다.
• 지역 어휘 자료를 글로벌 어휘 데이터베이스인 Universal Knowledge Core (UKC)에 통합하여 상호언어적 매핑과 글로벌 탐색 기능을 가능하게 한다.
• 비전문가 사용자가 사용할 수 있도록 맞춤화된 오픈소스 도구를 제공하여 어휘 관리, 시각화, 편집을 지원한다.
• 핵심 구성 요소의 장기적 지속 가능성과 공동 거버넌스를 보장하기 위해 비영리 재단(DataScientia)을 설립한다.

실험 결과

연구 질문

• RQ1 다국어 언어 기술에서 언어적 편향은 어떻게 발생하며, 현재 AI 개발 방법론의 근본 원인은 무엇인가?
• RQ2 공동체 주도의 참가형 설계 방식은 다국어 어휘 자료에서 언어적 편향을 어느 정도 줄일 수 있는가?
• RQ3 자원이 부족한 언어와 지역 언어를 글로벌 언어 인프라에 공정하게 통합하기 위해 어떤 기술적 및 방법론적 프레임워크가 필요한가?
• RQ4 지역 기관의 권한을 강화하면서도 글로벌 상호운용성을 확보하기 위해 지적 재산권과 소유권을 어떻게 관리할 수 있는가?
• RQ5 기관 간 협업은 지속 가능하고 다양성 인식이 반영된 언어 기술 개발을 달성하는 데 어떤 역할을 하는가?

주요 결과

• AI 시스템에서의 언어적 편향은 우연한 것이 아니라, 주로 주요 언어를 우선시하고 문화적·언어적 복잡성을 간과하는 설계 선택에서 기인하는 체계적인 문제이다.
• LiveLanguage 이니셔티브는 지역 주도의 개발 방식을 통해 몰체노, 칸브리아노, 라딘어, 프리울리아노 등 여러 알프스 지역 언어를 다국어 어휘 프레임워크에 성공적으로 통합하였다.
• 지역 기관은 기여한 어휘 자료에 대한 전적인 지적 재산권을 유지하였으며, 자율적인 배포 및 응용이 가능하였다.
• 지역 어휘 자료가 UKC 데이터베이스에 통합되어 상호언어적 연결성이 실현되었고, 사용자는 무역어와 지역어를 넘나들며 다국어 데이터에 접근하고 탐색할 수 있었다.
• 지역 이해관계자와의 협업 기반의 눈높이 맞춤 모델이 더 높은 품질, 맥락에 맞는 정확성, 윤리적으로 타당한 언어 자료를 만들어내는 데 기여했다.
• DataScientia 재단의 설립으로 LiveLanguage 생태계의 장기적 거버넌스와 지속 가능성이 보장되었으며, 다양한 이해관계자 간 공동 의사결정 권한이 공유되었다.