[論文レビュー] Task formulation for Extracting Social Determinants of Health from Clinical Narratives

Manabu Torii, Ian M. Finn+4 more|arXiv (Cornell University)|Jan 26, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文は、2022年n2c2 NLPチャレンジにおける臨床ノートからのSocial Determinants of Health (SDOH)抽出のための3つの異なるタスク定式化を提示する。システムは独立分類、大規模言語モデル（LLMs）、ルールベースの関係抽出の各手法を用い、F1スコアはそれぞれ0.884、0.831、0.663を達成した。独立分類アプローチが最も優れた性能を示したのは、SDOHのアノテーションが標準的なイベント抽出パターンに従わない複雑で多様な性質を持つためである。

ABSTRACT

Objective: The 2022 n2c2 NLP Challenge posed identification of social determinants of health (SDOH) in clinical narratives. We present three systems that we developed for the Challenge and discuss the distinctive task formulation used in each of the three systems. Materials and Methods: The first system identifies target pieces of information independently using machine learning classifiers. The second system uses a large language model (LLM) to extract complete structured outputs per document. The third system extracts candidate phrases using machine learning and identifies target relations with hand-crafted rules. Results: The three systems achieved F1 scores of 0.884, 0.831, and 0.663 in the Subtask A of the Challenge, which are ranked third, seventh, and eighth among the 15 participating teams. The review of the extraction results from our systems reveals characteristics of each approach and those of the SODH extraction task. Discussion: Phrases and relations annotated in the task is unique and diverse, not conforming to the conventional event extraction task. These annotations are difficult to model with limited training data. The system that extracts information independently, ignoring the annotated relations, achieves the highest F1 score. Meanwhile, LLM with its versatile capability achieves the high F1 score, while respecting the annotated relations. The rule-based system tackling relation extraction obtains the low F1 score, while it is the most explainable approach. Conclusion: The F1 scores of the three systems vary in this challenge setting, but each approach has advantages and disadvantages in a practical application. The selection of the approach depends not only on the F1 score but also on the requirements in the application.

研究の動機と目的

• 非構造化臨床ナラティブからのSocial Determinants of Health (SDOH) を抽出する課題に取り組むこと。これは、複雑で多様かつ標準的でないアノテーションを含む。
• 独立したエンティティ抽出から関係に配慮したモデリングまでの、さまざまなタスク定式化がSDOH抽出のパフォーマンスに与える影響を調査すること。
• 実臨床NLPアプリケーションにおけるモデルのパフォーマンス、解釈可能性、適合性のトレードオフを評価すること。
• 従来のイベント抽出パラダイムが、しばしば標準的な時間的・因果的イベント構造に従わないSDOHアノテーションに適用された場合の限界を理解すること。

提案手法

• 最初のシステムは、エンティティ間の関係をモデル化せずに、独立した機械学習分類器を用いてSDOHエンティティを検出する。
• 2番目のシステムは、大規模言語モデル（LLM）を用い、1件の臨床文書ごとに完全で構造化されたSDOH出力を生成し、アノテートされた関係を保持する。
• 3番目のシステムは、まず機械学習を用いてSDOHフレーズの候補を特定し、その後手作業で作成したルールを適用してそれらの間の関係を抽出する。
• すべてのシステムは、臨床ナラティブ内のSDOHエンティティおよびその関係を同定することを目的とした2022年n2c2 NLPチャレンジのサブタスクAで評価される。
• タスク定式化は、SDOHフレーズと関係が非常に多様で文脈依存的であるというチャレンジの独自なアノテーションスタイルを反映するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 関係を明示的にモデル化するか、エンティティを独立して扱うかというタスク定式化の選択が、SDOH抽出のパフォーマンスにどのように影響するか。
• RQ2 大規模言語モデル（LLMs）は、臨床ナラティブにおけるSDOHアノテーションの複雑で標準的でない構造をどの程度効果的に捉えることができるか。
• RQ3 解釈性が最も高いアプローチであるにもかかわらず、なぜルールベースの関係抽出システムは性能が低かったのか。
• RQ4 SDOHアノテーションの特性が、従来のイベント抽出および関係抽出パラダイムにどのような挑戦をもたらすか。

主な発見

• 独立して機械学習分類器を用いてSDOHエンティティを抽出するシステムが、F1スコア0.884を達成し、チャレンジ全体で3位となった。
• LLMベースのシステムは、特定タスクへのファインチューニングが行われていないにもかかわらず、F1スコア0.831を記録し、優れた汎化性能とアノテート済み関係の尊重能力を示した。
• 関係抽出のためのルールベースシステムは、F1スコアが最も低く0.663にとどまり、手作業で作成したルールがSDOH関係の多様性と複雑さに対応できていないことが示された。
• 結果から、SDOHアノテーションは非常に多様であり、従来のイベント抽出パターンに従わないことが明らかになった。このため、限られた訓練データではモデル化が困難である。