[논문 리뷰] Task formulation for Extracting Social Determinants of Health from Clinical Narratives

Manabu Torii, Ian M. Finn외 4명|arXiv (Cornell University)|2023. 01. 26.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 2022년 n2c2 NLP 챌린지에서 임상 내역에서 사회적 건강 결정 요인(SDOH)을 추출하기 위한 세 가지 별개의 작업 정의를 제시한다. 각 시스템은 독립적 분류, 대규모 언어 모델(LLM), 규칙 기반 관계 추출을 사용하며, F1 스코어는 각각 0.884, 0.831, 0.663을 기록한다. 독립적 분류 접근 방식이 가장 우수한 성능을 보였는데, 이는 SDOH 주석의 복잡성과 다양성이 표준 이벤트 추출 패턴을 따르지 않기 때문이다.

ABSTRACT

Objective: The 2022 n2c2 NLP Challenge posed identification of social determinants of health (SDOH) in clinical narratives. We present three systems that we developed for the Challenge and discuss the distinctive task formulation used in each of the three systems. Materials and Methods: The first system identifies target pieces of information independently using machine learning classifiers. The second system uses a large language model (LLM) to extract complete structured outputs per document. The third system extracts candidate phrases using machine learning and identifies target relations with hand-crafted rules. Results: The three systems achieved F1 scores of 0.884, 0.831, and 0.663 in the Subtask A of the Challenge, which are ranked third, seventh, and eighth among the 15 participating teams. The review of the extraction results from our systems reveals characteristics of each approach and those of the SODH extraction task. Discussion: Phrases and relations annotated in the task is unique and diverse, not conforming to the conventional event extraction task. These annotations are difficult to model with limited training data. The system that extracts information independently, ignoring the annotated relations, achieves the highest F1 score. Meanwhile, LLM with its versatile capability achieves the high F1 score, while respecting the annotated relations. The rule-based system tackling relation extraction obtains the low F1 score, while it is the most explainable approach. Conclusion: The F1 scores of the three systems vary in this challenge setting, but each approach has advantages and disadvantages in a practical application. The selection of the approach depends not only on the F1 score but also on the requirements in the application.

연구 동기 및 목표

• 비구조화된 임상 내역에서 사회적 건강 결정 요인(SDOH)을 추출하는 데 있어 복잡하고 다양한, 표준 이벤트 추출 패턴을 따르지 않는 주석이 포함된 과제를 해결하기 위해.
• 독립적 엔티티 추출에서 관계 인식 모델링에 이르기까지 다양한 작업 정의가 SDOH 추출 성능에 미치는 영향을 조사하기 위해.
• 실제 임상 NLP 응용 프로그램에서 모델 성능, 해석 가능성, 적응 가능성 사이의 상충 관계를 평가하기 위해.
• 전통적인 이벤트 추출 파рад림이 SDOH 주석에 적용되었을 때의 한계를 이해하기 위해, 이는 종종 표준 시간적 또는 인과적 이벤트 구조를 따르지 않기 때문이다.

제안 방법

• 첫 번째 시스템은 상호 엔티티 관계를 모델링하지 않고도 별도의 기계 학습 분류기를 사용하여 SDOH 엔티티를 독립적으로 탐지한다.
• 두 번째 시스템은 각 임상 문서당 완전하고 구조화된 SDOH 출력을 생성하기 위해 대규모 언어 모델(LLM)을 활용하며, 주석된 관계를 유지한다.
• 세 번째 시스템은 먼저 기계 학습을 통해 후보 SDOH 어휘를 식별한 후, 수작업으로 작성된 규칙을 적용하여 그들 사이의 관계를 추출한다.
• 모든 시스템은 SDOH 엔티티와 그 관계를 임상 내역에서 식별하는 데 중점을 둔 2022년 n2c2 NLP 챌린지의 서브태스크 A에서 평가된다.
• 작업 정의는 도전 대회에서 특징적인 주석 스타일을 반영하도록 설계되었으며, 여기서 SDOH 어휘와 관계는 매우 다양하고 맥락 의존적이다.

실험 결과

연구 질문

• RQ1 특히 관계를 명시적으로 모델링할 것인가, 엔티티를 독립적으로 취급할 것인가에 따라 선택된 작업 정의가 SDOH 추출 성능에 어떤 영향을 미치는가?
• RQ2 대규모 언어 모델(LLM)이 임상 내역에서 복잡하고 비표준적인 SDOH 주석의 구조를 얼마나 효과적으로 포착할 수 있는가?
• RQ3 가장 해석 가능성 높은 접근 방식임에도 불구하고 규칙 기반 관계 추출 시스템이 성능이 떨어지는 이유는 무엇인가?
• RQ4 SDOH 주석의 특성은 기존의 이벤트 추출 및 관계 추출 파라다임에 어떤 도전을 가하는가?

주요 결과

• 기계 학습 분류기를 사용하여 SDOH 엔티티를 독립적으로 추출하는 시스템이 가장 높은 F1 스코어 0.884를 기록했으며, 전체 챌린지에서 3위를 차지했다.
• LLM 기반 시스템은 경쟁력 있는 F1 스코어 0.831을 기록했으며, 특정 작업에 대한 미세조정 없이도 주석된 관계를 존중하는 강력한 일반화 능력을 보였다.
• 규칙 기반 관계 추출 시스템은 가장 낮은 F1 스코어 0.663을 기록했으며, 이는 수작업 규칙가 SDOH 관계의 다양성과 복잡성에 대응하는 데 어려움을 겪고 있음을 시사한다.
• 결과는 SDOH 주석이 매우 다양하며 전통적인 이벤트 추출 패턴을 따르지 않아, 제한된 훈련 데이터로는 이를 모델링하기가 어렵다는 점을 드러낸다.