[論文レビュー] Health Disparities through Generative AI Models: A Comparison Study Using A Domain Specific large language model

Yohn Jairo Parra Bautista, Vinicious Lima+2 more|arXiv (Cornell University)|Oct 23, 2023

Topic Modeling被引用数 4

ひとこと要約

本研究では、コサイン類似度を用いて、ドメイン特化型のSciBERTと汎用型のBERTを比較し、テキストクエリにおける健康格差を検出する能力を検証した。SciBERTは生体医療分野の訓練を経ているが、文脈に敏感な健康格差用語を区別する能力において、BERTが優れていた。これは、ドメイン特化型モデルが倫理的・社会的文脈を十分に捉えていない可能性を示している。

ABSTRACT

Health disparities are differences in health outcomes and access to healthcare between different groups, including racial and ethnic minorities, low-income people, and rural residents. An artificial intelligence (AI) program called large language models (LLMs) can understand and generate human language, improving health communication and reducing health disparities. There are many challenges in using LLMs in human-doctor interaction, including the need for diverse and representative data, privacy concerns, and collaboration between healthcare providers and technology experts. We introduce the comparative investigation of domain-specific large language models such as SciBERT with a multi-purpose LLMs BERT. We used cosine similarity to analyze text queries about health disparities in exam rooms when factors such as race are used alone. Using text queries, SciBERT fails when it doesn't differentiate between queries text: "race" alone and "perpetuates health disparities." We believe clinicians can use generative AI to create a draft response when communicating asynchronously with patients. However, careful attention must be paid to ensure they are developed and implemented ethically and equitably.

研究の動機と目的

• ドメイン特化型の大規模言語モデル（例：SciBERT）が、臨床的テキストクエリにおける健康格差をどの程度効果的に検出できるかを評価すること。
• SciBERTと汎用型BERTの性能を比較し、文脈的に敏感な健康格差用語を特定する能力を評価すること。
• ドメイン特化型モデル（例：SciBERT）が、埋め込み表現において健康格差の社会的・倫理的側面を十分に捉えているかどうかを評価すること。
• 現在の大規模言語モデルに内在する限界、特に臨床的コミュニケーションにおける健康格差を助長または隠蔽する可能性を特定すること。
• 社会的決定要因を考慮した生成型AIの倫理的かつ公平な設計を促進するため、モデルが健康格差の社会的要因にどの程度感受性を示すかを評価すること。

提案手法

• 健康格差関連のテキストクエリの意味的埋め込みを比較するために、コサイン類似度を用いた。
• 人種・民族・健康格差を含む、中立的および文脈的に敏感なバリエーションを含むテキストクエリを構築した。
• 両方のモデル（ドメイン特化型のSciBERTと汎用型のBERT）を訓練し、クエリの密なベクトル表現を生成した。
• クエリペア間のコサイン類似度を計算し、意味的類似度を測定した。特に、'race'単体 vs. 'race perpetuates disparities' のようなケースで、類似度が異なるべきである点に注目した。
• 埋め込み表現が、健康格差議論における'race'の文脈的に異なる使用法を区別できたかどうか、モデルの性能を評価した。
• SciBERTの埋め込みにおけるトークンおよびサブワードの分布を分析し、データ表現バイアスを評価した。

Figure 1: Flowchart Comparative Study with Health Disparities prompts

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化型言語モデルとしてのSciBERTは、健康格差議論における'race'の意味的中立的使用と文脈的に重い使用を効果的に区別できるか？
• RQ2 SciBERTの性能は、健康格差関連クエリにおける意味的差を検出するという観点で、汎用型BERTと比べてどうか？
• RQ3 SciBERTのようなドメイン特化型大規模言語モデルは、人種・民族といった健康格差の社会的決定要因を、学習済み埋め込み表現にどの程度反映しているか？
• RQ4 SciBERTのトレーニングデータに欠落があるため、健康格差用語における倫理的・社会的文脈の処理が不十分になる可能性はどの程度か？
• RQ5 コサイン類似度は、大規模言語モデルの健康格差関連言語に対する意味的感受性を効果的に測定できるか？

主な発見

• BERTは、文脈のみで異なるテキストクエリ（例：'race'単体 vs. 'race perpetuates health disparities'）を区別する能力において、SciBERTを上回った。
• 生体医療分野の訓練を経ているにもかかわらず、SciBERTは意味的に異なるクエリ（健康格差関連）を区別できず、文脈感受性に欠けていることが示された。
• SciBERTの埋め込みは、より高いトークン多様性を示し、サブワード、数字、'%'などの特殊文字が増加していた。これは、技術的言語に注力していることを示唆している。
• 結果から、SciBERTのトレーニングデータが、健康格差の倫理的・社会的側面を十分に反映していない可能性があり、臨床的AIアプリケーションにおけるバイアスの原因となる恐れがある。
• ドメイン特化型モデルであっても、社会的文脈や健康格差における権力関係を十分に考慮しない限り、自然に公平性や公平性の向上が実現しない可能性がある。
• 本研究は、特に専用化された大規模言語モデルであっても、文脈的・倫理的感受性が十分に評価されない限り、健康格差を助長するリスクがあることを浮き彫りにした。