[論文レビュー] Global Readiness of Language Technology for Healthcare: What would it Take to Combat the Next Pandemic?

Ishani Mondal, Kabir Ahuja+4 more|arXiv (Cornell University)|Apr 6, 2022

AI in Service Interactions被引用数 5

ひとこと要約

本論文は、15のアジア・アフリカ語を対象に、パンデミック対応のためのチャットボット開発を念頭に、言語技術（LT）の世界的な準備状況を評価する。多言語モデルと商業的フレームワークを用いた意図分類を通じて、低リソース言語（クラス0–2）では20–30％の性能低下を確認。LTへのアクセス格差が顕著であり、グローバルなパンデミック準備を確保するため、『ブリッジ』言語とドメイン適応型NLPシステムへの的を絞った投資を提言する。

ABSTRACT

The COVID-19 pandemic has brought out both the best and worst of language technology (LT). On one hand, conversational agents for information dissemination and basic diagnosis have seen widespread use, and arguably, had an important role in combating the pandemic. On the other hand, it has also become clear that such technologies are readily available for a handful of languages, and the vast majority of the global south is completely bereft of these benefits. What is the state of LT, especially conversational agents, for healthcare across the world's languages? And, what would it take to ensure global readiness of LT before the next pandemic? In this paper, we try to answer these questions through survey of existing literature and resources, as well as through a rapid chatbot building exercise for 15 Asian and African languages with varying amount of resource-availability. The study confirms the pitiful state of LT even for languages with large speaker bases, such as Sinhala and Hausa, and identifies the gaps that could help us prioritize research and investment strategies in LT for healthcare.

研究の動機と目的

• 世界の言語、特に低リソース環境における保健医療用チャットボットのための言語技術（LT）の準備状況を評価すること。
• 既存の商業的およびオープンソースツールを用いて、低リソースなアジア・アフリカ語の多言語COVID-19 FAQチャットボットを実用的につくる可能性を調査すること。
• 公平なパンデミック対応技術の実現を阻害する言語リソースの不足やモデル性能のギャップを特定すること。
• 国レベルの言語人口構成とモデル性能スコアを用いて、パンデミック対応のためのグローバルLT準備状況マップを構築すること。
• 次のパンデミックに備えて、グローバルLT準備状況を向上させるための的を絞った研究および投資戦略を提言すること。

提案手法

• 言語リソースの可用性に基づき、6つのリソースクラス（0–5）に分けたアジア・アフリカ語15か国を特定し、LT性能を評価。
• 多言語トランスフォーマー・モデル（mBERTおよびXLM-R）と商業フレームワーク（Google Dialogflow、Microsoft Bot Framework）を用いて、各言語の意図分類器を構築。
• 標準化されたCOVID-19 FAQ意図分類タスクで性能を評価し、英語ベースラインとのF1スコア差を測定。
• 一部の言語でエンティティ認識実験を実施し、低リソース環境における固有表現検出能力を評価。
• モデル性能に基づき言語レベルの準備状況スコア（$ r_l $）を算出し、人口加重言語分布を用いて国レベルの準備状況（$ r_c $）に集約。
• ジェンクスの自然ブレイク最適化を適用し、国を5段階のパンデミック準備レベル（極めて準備不足から完全準備）に分類し、グローバルヒートマップを生成。

実験結果

リサーチクエスチョン

• RQ1 現在、どの言語が実用的な保健医療チャットボットのための十分な言語技術基盤を備えているか？
• RQ2 多言語NLUモデルの性能は、英語のような高リソース言語と比較して、低リソース言語（クラス0–2）でどの程度低下するか？
• RQ3 商業的チャットボットフレームワークおよび多言語モデルは、アフリカおよびアジアの低リソース言語をどの程度支援できるか？
• RQ4 低リソース言語における効果的な保健医療チャットボットの展開を阻害する主な言語的・技術的障壁は何か？
• RQ5 次回のパンデミックに備えて、戦略的で的を絞った研究と投資を通じて、グローバルLT準備状況をどのように改善できるか？

主な発見

• mBERTやXLM-Rを用いても、英語ベースラインと比較して、クラス0–2の言語（例：ハウサ語、ソマリ語、マラーティ語、僧伽羅語）では意図分類のF1スコアが20–30％低下した。
• 最新の多言語モデルを用いても、アフリカ語および一部のインド諸語（例：マラーティ語、僧伽羅語）の性能は依然として英語ベースラインより著しく低く、リソースギャップが継続していることを示している。
• 英語以外のフランス語、中国語、韓国語、ベンガル語などの一部のヨーロッパおよびアジア語が高準備レベルに達したが、スワヒリ語やハウサ語のような広く使われている言語は依然としてリソース不足である。
• サハラ以南アフリカ、南アジア、およびラテンアメリカ一部（例：ザンビア、ボリビア、グアテマラ）は、低リソース言語の割合が高く、『極めて準備不足』と分類された。
• 地理的または言語的に近い『ブリッジ』言語（例：マラーティ語のためのヒンディー語）が存在することで、一部の低リソース言語で性能が向上した。これは、トランスファー学習の可能性を示唆している。
• 商業的チャットボットフレームワークおよび機械翻訳システムは、ドメイン固有用語（例：『潜伏期』『COVID』）に対して脆弱であることが判明し、ドメイン適応および用語インジェクション技術の導入が不可欠である。