[논문 리뷰] Global Readiness of Language Technology for Healthcare: What would it Take to Combat the Next Pandemic?

Ishani Mondal, Kabir Ahuja외 4명|arXiv (Cornell University)|2022. 04. 06.

AI in Service Interactions인용 수 5

한 줄 요약

이 논문은 전 세계 15개 아시아 및 아프리카 언어에서 팬데믹 대응을 위한 챗봇 개발을 중심으로 언어 기술(LT)의 글로벌 준비 수준을 평가한다. 다국어 모델과 상용 프레임워크를 활용한 의도 분류를 통해 저자원 언어(클래스 0–2)에서 성능이 20–30% 감소하는 것으로 나타나, LT 접근성에 있어 뚜렷한 격차가 있음을 확인하고, 글로벌 팬데믹 대비를 보장하기 위해 '브릿지' 언어와 도메인 적응형 NLP 시스템에 대한 집중적 투자를 제안한다.

ABSTRACT

The COVID-19 pandemic has brought out both the best and worst of language technology (LT). On one hand, conversational agents for information dissemination and basic diagnosis have seen widespread use, and arguably, had an important role in combating the pandemic. On the other hand, it has also become clear that such technologies are readily available for a handful of languages, and the vast majority of the global south is completely bereft of these benefits. What is the state of LT, especially conversational agents, for healthcare across the world's languages? And, what would it take to ensure global readiness of LT before the next pandemic? In this paper, we try to answer these questions through survey of existing literature and resources, as well as through a rapid chatbot building exercise for 15 Asian and African languages with varying amount of resource-availability. The study confirms the pitiful state of LT even for languages with large speaker bases, such as Sinhala and Hausa, and identifies the gaps that could help us prioritize research and investment strategies in LT for healthcare.

연구 동기 및 목표

• 세계의 모든 언어, 특히 저자원 환경에서 의료 챗봇을 위한 언어 기술(LT) 준비도의 현재 상태를 평가하기 위해.
• 기존 상용 및 오픈소스 도구를 활용해 아시아 및 아프리카 저자원 언어에서 실용적인 다국어 코로나19 FAQ 챗봇을 구축할 수 있는지 탐구하기 위해.
• 공정한 팬데믹 대응 기술을 구현하는 데 장애가 되는 언어 자원 부족과 모델 성능 격차를 규명하기 위해.
• 국가 수준의 언어 인구 통계와 모델 성능 점수를 기반으로 글로벌 팬데믹 대응을 위한 LT 준비도 지도를 제작하기 위해.
• 다음 팬데믹을 대비해 전 세계의 LT 준비도를 향상시키기 위해 전략적 연구 및 투자 전략을 제안하기 위해.

제안 방법

• 언어 자원 가용성 기반으로 6개의 자원 수준 클래스(0–5)에 속하는 15개 아시아 및 아프리카 언어를 선정하여 LT 성능 평가를 수행하였다.
• 다국어 트랜스포머 모델(mBERT 및 XLM-R)과 상용 프레임워크(Google Dialogflow, Microsoft Bot Framework)를 활용해 각 언어의 의도 분류기 구축을 수행하였다.
• 표준화된 코로나19 FAQ 의도 분류 작업을 기반으로 성능을 평가하였으며, 영어 기준 대비 F1 점수를 측정하였다.
• 저자원 환경에서의 명명된 실체 인식 능력을 평가하기 위해 일부 언어에 대해 실체 인식 실험을 수행하였다.
• 모델 성능 기반으로 언어 수준 준비도 점수($ r_l $)를 계산한 후, 언어 인구 분포의 가중 평균을 적용해 국가 수준 준비도($ r_c $)로 집계하였다.
• 제인크스의 자연적 분할 최적화 기법을 적용해 국가들을 다섯 단계의 팬데믹 준비도 수준(매우 준비되지 않음에서 완전히 준비됨)으로 분류하고, 글로벌 히트맵을 생성하였다.

실험 결과

연구 질문

• RQ1 현재 어떤 언어들이 실질적인 의료 챗봇을 위한 팬데믹 대응을 위해 충분한 언어 기술 인프라를 갖추고 있는가?
• RQ2 저자원 언어(클래스 0–2)에서 다국어 NLU 모델의 성능이 영어와 같은 고자원 언어에 비해 얼마나 떨어지는가?
• RQ3 상용 챗봇 프레임워크와 다국어 모델이 아프리카 및 아시아의 저자원 언어를 얼마나 잘 지원하는가?
• RQ4 저자원 언어에서 효과적인 의료 챗봇 배포를 방해하는 주요 언어학적 및 기술적 장애는 무엇인가?
• RQ5 다음 팬데믹을 대비해 전략적 연구 및 투자로 글로벌 LT 준비도를 어떻게 향상시킬 수 있는가?

주요 결과

• 조직된 다국어 모델과 상용 프레임워크를 사용함에도 불구하고, 클래스 0–2 언어(예: 하우사어, 소말리어, 마라티어, 신할라어)에서 영어 기준 대비 의도 분류 F1 점수에 20–30% 감소가 관찰되었다.
• mBERT와 XLM-R를 사용함에도 불구하고 아프리카어 및 일부 인도어 언어(예: 마라티어, 신할라어)의 성능은 여전히 영어 기준에 비해 유의미하게 낮아, 지속적인 자원 격차가 존재함을 시사한다.
• 영어 이외의 유럽어 및 아시아어(예: 프랑스어, 중국어, 한국어, 우르두어) 중 일부만 높은 준비도 수준에 도달했으며, 스와힐리어나 하우사어처럼 널리 쓰이는 언어들 역시 여전히 저자원 상태에 머물러 있다.
• 주로 사하라 이남 아프리카, 남아시아 및 라틴 아메리카 일부 국가(예: 잠비아, 볼리비아, 과테말라)는 저자원 언어 비율이 높아 '매우 준비되지 않음'으로 분류되었다.
• 지리적 또는 언어적으로 가까운 '브릿지' 언어(예: 마라티어에 대한 힌두어)의 존재가 일부 저자원 언어에서 성능 향상에 기여하여, 전이 학습 잠재력이 있음을 시사한다.
• 상용 챗봇 프레임워크와 기계 번역 시스템은 도메인 전용 용어(예: '잠복기', '코로나19')에서 취약함을 보였으며, 이는 도메인 적응 및 용어 삽입 기법의 필요성을 강조한다.