[論文レビュー] SODA: A Natural Language Processing Package to Extract Social Determinants of Health for Cancer Studies

Zehao Yu, Xi Yang+13 more|arXiv (Cornell University)|Dec 6, 2022

Food Security and Health in Diverse Populations参考文献 43被引用数 6

ひとこと要約

SODAは、がん患者の臨床ノートから19の社会的健康決定要因（SDoH）を抽出するため、微調整されたBERTモデルを用いたオープンソースのNLPパッケージである。SDoH概念抽出において92.16％のストレクトF1を達成し、微調整を経てオピオイド使用集団に対しても一般化性を示し、新たなアノテーションにおいても性能が向上した。

ABSTRACT

Objective: We aim to develop an open-source natural language processing (NLP) package, SODA (i.e., SOcial DeterminAnts), with pre-trained transformer models to extract social determinants of health (SDoH) for cancer patients, examine the generalizability of SODA to a new disease domain (i.e., opioid use), and evaluate the extraction rate of SDoH using cancer populations. Methods: We identified SDoH categories and attributes and developed an SDoH corpus using clinical notes from a general cancer cohort. We compared four transformer-based NLP models to extract SDoH, examined the generalizability of NLP models to a cohort of patients prescribed with opioids, and explored customization strategies to improve performance. We applied the best NLP model to extract 19 categories of SDoH from the breast (n=7,971), lung (n=11,804), and colorectal cancer (n=6,240) cohorts. Results and Conclusion: We developed a corpus of 629 cancer patients notes with annotations of 13,193 SDoH concepts/attributes from 19 categories of SDoH. The Bidirectional Encoder Representations from Transformers (BERT) model achieved the best strict/lenient F1 scores of 0.9216 and 0.9441 for SDoH concept extraction, 0.9617 and 0.9626 for linking attributes to SDoH concepts. Fine-tuning the NLP models using new annotations from opioid use patients improved the strict/lenient F1 scores from 0.8172/0.8502 to 0.8312/0.8679. The extraction rates among 19 categories of SDoH varied greatly, where 10 SDoH could be extracted from >70% of cancer patients, but 9 SDoH had a low extraction rate (<70% of cancer patients). The SODA package with pre-trained transformer models is publicly available at https://github.com/uf-hobiinformatics-lab/SDoH_SODA.

研究の動機と目的

• がん患者の臨床ノートから社会的健康決定要因（SDoH）を抽出するオープンソースのNLPツールを開発すること。
• SODAモデルの一般化能力を、新しい疾患分野（オピオイド使用症候群）に適用して評価すること。
• 乳癌、肺がん、大腸がんの集団において、19の異なるカテゴリにわたるSDoHの抽出性能を評価すること。
• 新しい臨床集団向けに、微調整によるカスタマイズ戦略を検討し、モデル性能の向上を図ること。
• 研究の広範な利用を促進するため、事前学習済みトランスフォーマーモデルを備えた公開可能なNLPパッケージをリリースすること。

提案手法

• 19のカテゴリにわたり、合計13,193件のアノテート済みSDoH概念を含む、629件のがん患者ノートから構築された洗練されたSDoHコーパスを構築した。
• 4種類のトランスフォーマー基盤のNLPモデルを評価し、概念および属性抽出のF1スコアに基づき、BERTを最適なモデルとして選定した。
• オピオイド処方済み患者集団からの新たなアノテーションを用いて、BERTモデルを微調整し、移行性を評価した。
• SDoH概念および属性抽出の精度、再現率、F1スコアを評価するため、ストレクトおよびラテン評価指標を実装した。
• 最もパフォーマンスの優れたモデルを用いて、3つの主要ながん集団（乳癌：n=7,971、肺がん：n=11,804、大腸がん：n=6,240）からSDoHを抽出した。
• コミュニティ利用を目的として、パブリックリポジトリを通じてSODAパッケージと事前学習済みモデルをリリースした。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のNLPモデルは、がん患者の臨床ノートから社会的健康決定要因をどれほど効果的に抽出できるか？
• RQ2 SODAモデルは、オピオイド使用症候群のような新しい臨床分野にどの程度一般化できるか？
• RQ3 主ながん種において、SDoHのどのカテゴリが最も多く、最も少ない頻度で抽出されるか？
• RQ4 新たな臨床アノテーションでモデルを微調整することで、以前に見られなかった集団における性能が向上するか？
• RQ5 カスタマイズ戦略の影響は、SDoH抽出の正確性および頑健性にどのような影響を及えるか？

主な発見

• BERTモデルは、SDoH概念抽出において、ストレクトF1スコア0.9216、ラテンF1スコア0.9441を達成し、最高のパフォーマンスを示した。
• SDoH概念への属性のリンクでは、ストレクトF1スコア0.9617、ラテンF1スコア0.9626をそれぞれ達成した。
• オピオイド使用集団のアノテーションで微調整したことで、モデルのストレクトF1スコアは0.8172から0.8312、ラテンF1スコアは0.8502から0.8679に向上した。
• 10のSDoHカテゴリはがん患者の70％以上で抽出可能であったが、9つのカテゴリでは抽出率が70％未満であった。
• 事前学習済みモデルを備えたSODAパッケージは公開されており、臨床テキストにおけるSDoH抽出を再現可能かつスケーラブルに行える。