[논문 리뷰] Prevalence of code mixing in semi-formal patient communication in low resource languages of South Africa

Monika Obrocka, Charles Copley외 2명|arXiv (Cornell University)|2019. 11. 13.

Interpreting and Communication in Healthcare참고 문헌 4인용 수 4

한 줄 요약

이 연구는 남아프리카 공화국의 국립 MomConnect 건강 플랫폼에서 반형식적인 환자 소통 내에서의 코드 믹싱을 조사하며, 182,000건의 고유 사용자 메시지를 분석한다. Polyglot NLP 라이브러리를 사용하여 코드 스위칭의 유병률 약 10%를 특정하였으며, 주로 영어, 이지줄루어, 이스이호사어 간에 발생한다. 이는 자원이 적은 多언어 환경에서 NLP 시스템에 상당한 도전 과제를 제기한다.

ABSTRACT

In this paper we address the problem of code-mixing in resource-poor language settings. We examine data consisting of 182k unique questions generated by users of the MomConnect helpdesk, part of a national scale public health platform in South Africa. We show evidence of code-switching at the level of approximately 10% within this dataset -- a level that is likely to pose challenges for future services. We use a natural language processing library (Polyglot) that supports detection of 196 languages and attempt to evaluate its performance at identifying English, isiZulu and code-mixed questions.

연구 동기 및 목표

• 남아프리카 공화국의 국립 공공 건강 플랫폼에서 반형식적인 환자 소통 내 코드 믹싱의 유병률을 정량화하는 것.
• 자원이 적은 언어에서 언어 및 코드 스위칭을 식별하는 데에 Polyglot NLP 라이브러리의 성능을 평가하는 것.
• 자원이 적은 환경에서의 다언어, 자원 부족 상황에서 코드 믹싱이 자연어 처리 정확도에 미치는 영향을 평가하는 것.
• 다언어 사회에서 공정한 디지털 건강 접근을 지원하는 NLP 도구 개발을 위한 통찰을 제공하는 것.
• 2026년까지 남아프리카 공화국의 국가 건강 보험을 위한 향후 자동 질문-답변 시스템 개발을 안내하는 것.

제안 방법

• MomConnect 도우미 센터 플랫폼에서 182,000건의 고유 메시지를 수집하고 전처리하였다.
• 전처리 과정에는标 punctuations, 이모티콘, 숫자 제거 및 각 메시지를 네 개의 조각으로 분할하는 것을 포함하였다.
• Polyglot NLP 라이브러리를 적용하여 196개의 지원 언어 중에서 각 메시지 조각의 언어를 레이블링 하였다.
• 수동으로 레이블링된 네 가지 데이터셋을 구축: 전체 데이터, 단일 언어 영어, 단일 언어 이지줄루어, 코드 믹싱 샘플.
• 전체 데이터 샘플에서 정확도, 가중치 정밀도, 가중치 재현율을 사용하여 분류기 성능을 평가하였다.
• 사용자 등록 언어 분포(표 1)와 실제 메시지 언어 사용(표 3) 간의 통계적 비교를 실시하였다.

실험 결과

연구 질문

• RQ1 남아프리카 공화국의 국립 건강 플랫폼에서 반형식적인 환자 소통 내 코드 믹싱의 유병률은 어떠한가?
• RQ2 Polyglot NLP 라이브러리는 자원이 적은 남아프리카 언어에서 언어 및 코드 스위칭을 얼마나 정확하게 식별할 수 있는가?
• RQ3 사용자가 등록한 언어 분포와 실제 메시지의 언어 사용 간의 분포는 어떻게 비교되는가?
• RQ4 코드 믹싱은 다언어, 자원이 적은 환경에서 표준 NLP 기법의 성능을 어느 정도 저하시키는가?
• RQ5 코드 믹싱은 공공 보건 응용 분야에서 확장 가능한 자동 언어 처리 도구 개발에 대해 어떤 함의를 지닌다?

주요 결과

• 코드 믹싱은 약 10%의 메시지에서 확인되었으며, Polyglot 모델이 65.5%의 메시지를 혼합 언어 콘텐츠로 분류하였다.
• Polyglot 분류기는 전체 데이터 샘플에서 정확도 0.78, 가중치 정밀도 0.89, 가중치 재현율 0.78를 기록하였다.
• 영어 전용 메시지의 100%를 정확히 식별했지만, 이지줄루어 전용 메시지의 경우 75.75%만 정확히 식별하여 자원이 적은 언어에서 성능 저하를 보였다.
• 사용자 등록 언어 분포(표 1)와 실제 메시지 언어 사용(표 3) 사이에 통계적으로 유의미한 차이가 있었다(χ² = 93.168, p < 2.2e-16).
• 모델의 성능는 모든 메시지가 영어로 간주되는 것보다 유의미하게 높지 않았다(정확도 0.765), 이는 데이터 불균형 문제를 드러냈다.
• 코드 믹싱은 영어와 이지줄루어 조합에서 가장 높은 비율(23.25%)을 보였으며, 영어와 이스이호사어 조합(16%), 이지줄루어와 이스이호사어 조합(17.5%)도 높은 비율을 보였다.