[論文レビュー] Prevalence of code mixing in semi-formal patient communication in low resource languages of South Africa

Monika Obrocka, Charles Copley+2 more|arXiv (Cornell University)|Nov 13, 2019

Interpreting and Communication in Healthcare参考文献 4被引用数 4

ひとこと要約

本研究は、南アフリカの国家的MomConnect健康プラットフォームにおける準形式的患者コミュニケーションにおけるコードミキシングを調査し、182,000件のユニークなユーザーのメッセージを分析した。Polyglot NLPライブラリを用いて、約10％の頻度でコードスイッチングが発生していることが特定された。主に英語、isiZulu語、isiXhosa語の間で発生しており、リソースが乏しい多言語環境におけるNLPシステムの顕著な課題を示している。

ABSTRACT

In this paper we address the problem of code-mixing in resource-poor language settings. We examine data consisting of 182k unique questions generated by users of the MomConnect helpdesk, part of a national scale public health platform in South Africa. We show evidence of code-switching at the level of approximately 10% within this dataset -- a level that is likely to pose challenges for future services. We use a natural language processing library (Polyglot) that supports detection of 196 languages and attempt to evaluate its performance at identifying English, isiZulu and code-mixed questions.

研究の動機と目的

• 南アフリカの国家的公衆衛生プラットフォームにおける準形式的患者コミュニケーションにおけるコードミキシングの頻度を定量化すること。
• リソースが乏しい言語における言語およびコードスイッチングを同定するためのPolyglot NLPライブラリのパフォーマンスを評価すること。
• 多言語的かつリソースが乏しい環境における標準的なNLP技術の正確性に、コードミキシングが与える影響を評価すること。
• 多言語的社会における公平なデジタルヘルスアクセスを支援するNLPツールの開発に向けた知見を提供すること。
• 2026年までに南アフリカの国民健康保険制度に向けた将来的な自動質問応答システムの開発を支援すること。

提案手法

• MomConnectヘルプデスクプラットフォームから182,000件のユニークなメッセージを収集および前処理した。
• 前処理には標 punctuation、絵文字、数字の削除、および各メッセージを4つのチャンクに分割する処理を含めた。
• Polyglot NLPライブラリを用いて、196の対応言語の範囲で各メッセージチャンクの言語をラベル付けした。
• 手動でアノテートされた4つのデータセットを作成した：全データ、英語のみ、isiZulu語のみ、コードミキシングのサンプル。
• 全データサンプルにおける分類器のパフォーマンスを、正解率、重み付き適合率、重み付き再現率を用いて評価した。
• 登録言語の分布（表1）と実際のメッセージ言語使用（表3）の間で統計的比較を実施した。

実験結果

リサーチクエスチョン

• RQ1 南アフリカの国家的健康プラットフォームにおける準形式的患者コミュニケーションにおけるコードミキシングの頻度はどの程度か？
• RQ2 Polyglot NLPライブラリは、リソースが乏しい南アフリカの言語（例えばisiZulu語やisiXhosa語）において、言語およびコードスイッチングをどの程度正確に同定できるか？
• RQ3 ユーザー登録時の言語選択分布と、実際のメッセージにおける言語使用の分布には、どのような差があるか？
• RQ4 コードミキシングは、多言語的かつリソースが乏しい環境における標準的なNLP技術のパフォーマンスをどの程度低下させるか？
• RQ5 コードミキシングは、公衆衛生アプリケーションにおけるスケーラブルで自動化された言語処理ツールの開発に、どのような意味を持つのか？

主な発見

• コードミキシングは、全メッセージの約10％で検出され、Polyglotモデルが分類したコードスイッチドとされた65.5％のメッセージに混合言語コンテンツが含まれていた。
• Polyglot分類器は、全データサンプルにおいて正解率0.78、重み付き適合率0.89、重み付き再現率0.78を達成した。
• 英語のみのメッセージは100％正しく同定されたが、isiZulu語のみのメッセージは75.75％にとどまり、リソースが乏しい言語ではパフォーマンスが低かった。
• ユーザー登録の言語分布（表1）と実際のメッセージ内容の言語分布（表3）との間に、統計的に有意な差（χ² = 93.168, p < 2.2e-16）が確認された。
• モデルのパフォーマンスは、すべてのメッセージが英語であると仮定した場合（正解率0.765）と顕著に差がなく、データの不均衡問題が顕著に表れた。
• コードミキシングは、英語とisiZulu語の組み合わせ（23.25％）、英語とisiXhosa語の組み合わせ（16％）、isiZulu語とisiXhosa語の組み合わせ（17.5％）で最も顕著に発生していた。