[논문 리뷰] Participatory Research for Low-resourced Machine Translation: A Case Study in African Languages

Wilhelmina Nekoto, Vukosi Marivate외 46명|arXiv (Cornell University)|2020. 10. 05.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 저자원 African 언어를 위한 지속 가능한 기계 번역(MT) 시스템을 구축하기 위해 확장 가능하고 공동체 중심의 참가형 연구를 제안한다. 원어민, 언어 기술자, 현지 이해관계자들이 데이터 수집, 주석 처리 및 인간 평가에 참여함으로써, 저자들은 30개 이상의 아프리카 언어를 위한 새로운 번역 데이터셋과 벤치마크를 만들었으며, 몇몇 저자원 언어에 대해 처음으로 인간 평가를 수행했다. 이는 비전문가 기여자들이 기계 번역 연구를 의미 있게 진전시킬 수 있음을 보여준다.

ABSTRACT

Research in NLP lacks geographic diversity, and the question of how NLP can be scaled to low-resourced languages has not yet been adequately solved. "Low-resourced"-ness is a complex problem going beyond data availability and reflects systemic problems in society. In this paper, we focus on the task of Machine Translation (MT), that plays a crucial role for information accessibility and communication worldwide. Despite immense improvements in MT over the past decade, MT is centered around a few high-resourced languages. As MT researchers cannot solve the problem of low-resourcedness alone, we propose participatory research as a means to involve all necessary agents required in the MT development process. We demonstrate the feasibility and scalability of participatory research with a case study on MT for African languages. Its implementation leads to a collection of novel translation datasets, MT benchmarks for over 30 languages, with human evaluations for a third of them, and enables participants without formal training to make a unique scientific contribution. Benchmarks, models, data, code, and evaluation results are released under https://github.com/masakhane-io/masakhane-mt.

연구 동기 및 목표

• 저자원 아프리카 언어에 특히 초점을 맞춘 자연어 처리(NLP) 연구의 지리적 및 언어적 다양성 부족 문제를 해결한다.
• NLP에서 저자원 상태가 발생하는 배경에 있는 체계적 문제를 진단한다. 이는 역사적 소외, 교육 분야의 자금 부족, 연구자 대표성 부족을 포함한다.
• 모든 필수 참여자인 언어 사용자, 코디네이터, 번역가, 기술자들을 개발 과정에 참여시킴으로써 전통적 MT 연구의 한계를 극복한다.
• 참가형 연구가 형식적 교육 없이도 고품질의 인간 평가 기반 벤치마크와 데이터셋을 생산할 수 있음을 입증한다.
• 현지 공동체를 강화하고 실제 언어 사용과의 관련성을 확보하는 지속 가능하고 확장 가능한 MT 연구 모델을 구축한다.

제안 방법

• 원어민, 언어 기술자, 이해관계자를 공동 창작자로 참여시켜 데이터 수집, 주석 처리 및 평가 과정에 참여시키는 참가형 연구 프레임워크를 채택한다.
• 자원봉사 기반의 공동체 중심 번역 및 수정 워크플로우를 활용하여 30개 이상의 아프리카 언어에 대해 병렬 코퍼스와 인간 평가를 생성한다.
• 기존 자원인 JW300 및 Multitarget TED 데이터셋을 기준선 및 모델 평가용 테스트 세트로 활용한다.
• 직접 평가에 비해 校정 비용을 줄이고 오류 분석이 가능하도록, 수정 평가를 주요 평가 방법으로 구현한다.
• 오픈소스 플랫폼(GitHub)과 공동체 조율를 통해 분산 협업을 촉진하여 데이터 및 모델 개발의 스케일링을 가능하게 한다.
• 의료 및 기술 분야와 같은 도메인 다양성을 우선시하여 번역을 수집함으로써 모델의 강건성과 실제 적용 가능성을 높인다.

실험 결과

연구 질문

• RQ1 참가형 연구 모델은 저자원 아프리카 언어의 기계 번역 시스템 개발에 있어 비전문가이자 원어민 기여자를 효과적으로 어떻게 참여시킬 수 있는가?
• RQ2 언어 사용자와 현지 이해관계자의 데이터 수집 및 인간 평가에의 참여가 MT 벤치마크의 품질과 관련성에 어떤 영향을 미치는가?
• RQ3 참가형 연구가 이전에 자원이 부족했던 언어에 대해 신뢰할 수 있고 인간 평가 기반의 MT 벤치마크를 생산할 수 있는가?
• RQ4 다양한 참여자(예: 코디네이터, 번역가, 콘텐츠 제작자)의 참여는 저자원 MT 연구의 지속 가능성과 확장성에 어떻게 기여하는가?
• RQ5 공동체 중심 평가가 BLEU와 같은 전통적 자동 평가 지표보다 우월하거나 보완적인가? 특히 저자원 언어의 모델 성능 평가에서 어떤 정도의 우월성을 보이는가?

주요 결과

• 참가형 접근법은 30개 이상의 아프리카 언어에 대해 새로운 인간 평가 기반 번역 데이터셋을 성공적으로 생성했으며, 11명의 자원봉사 평가자가 10일 만에 707개 번역을 평가했다.
• 인간 평가 결과, JW300 벤치마크에서의 BLEU 점수는 오류를 유발할 수 있음을 드러냈다. 특히 이bo와 요르وبا와 같은 언어에서는 높은 점수에도 불구하고 방언의 일관성 부족으로 실제 번역 품질이 떨어지는 경우가 있었다.
• 하우사어에 대해 평가자 판단과 모델 출력 간 스피어만 상관계수(ρ = 0.56)는 중간 정도의 일치를 보였으며, 이는 수정 평가가 타당하고 분석 가능한 평가 방법임을 시사한다.
• 모델 일반화 능력 예측에 있어 훈련 데이터 크기가 벤치마크 점수보다 더 신뢰할 수 있는 예측 변수임을 확인했으며, 이는 자동 지표에만 의존하는 것의 한계를 드러낸다.
• 간단하고 접근성 있는 워크플로우에 안내된 비전문가 기여자—예를 들어 공동체 구성원 및 가족 네트워크—가 의미 있는 인간 평가를 수행할 수 있음을 입증했다.
• 이 연구는 이보, 요르바, 덴디와 같은 언어에 대해 기계 번역 출력에 대한 처음으로 인간 평가를 수행한 사례로, 저자원 NLP 분야에서 중요한 전환점이 되었다.