[논문 리뷰] Learning to Infer Entities, Properties and their Relations from Clinical Conversations

Nan Du, Mingqiu Wang외 3명|arXiv (Cornell University)|2019. 08. 30.

Topic Modeling참고 문헌 41인용 수 9

한 줄 요약

이 논문은 관계-SAT(R-SAT)를 제안하며, 임상 대화 전체에서 임상적 실체(증상, 약물), 그들의 성질, 그리고 관계를 동시에 추론하는 새로운 다중 작업 학습 모델이다. 기억 버퍼를 사용하여 실체 표현을 저장하고 장거리 의존성 모델링을 가능하게 함으로써, R-SAT는 상태 기준 성능을 달성하여 증상-성질 관계에서 기준 모델 대비 32% 향상(F1 0.82 대비 0.62)과 약물-성질 관계에서 50% 향상(F1 0.60 대비 0.41)을 기록한다.

ABSTRACT

Recently we proposed the Span Attribute Tagging (SAT) Model (Du et al., 2019) to infer clinical entities (e.g., symptoms) and their properties (e.g., duration). It tackles the challenge of large label space and limited training data using a hierarchical two-stage approach that identifies the span of interest in a tagging step and assigns labels to the span in a classification step. We extend the SAT model to jointly infer not only entities and their properties but also relations between them. Most relation extraction models restrict inferring relations between tokens within a few neighboring sentences, mainly to avoid high computational complexity. In contrast, our proposed Relation-SAT (R-SAT) model is computationally efficient and can infer relations over the entire conversation, spanning an average duration of 10 minutes. We evaluate our model on a corpus of clinical conversations. When the entities are given, the R-SAT outperforms baselines in identifying relations between symptoms and their properties by about 32% (0.82 vs 0.62 F-score) and by about 50% (0.60 vs 0.41 F-score) on medications and their properties. On the more difficult task of jointly inferring entities and relations, the R-SAT model achieves a performance of 0.34 and 0.45 for symptoms and medications respectively, which is significantly better than 0.18 and 0.35 for the baseline model. The contributions of different components of the model are quantified using ablation analysis.

연구 동기 및 목표

• 제한적이고 저자원 임상 대화 데이터에서 임상 실체, 그들의 성질, 관계를 동시에 추출하는 문제를 해결하기 위해.
• 단 2~3 문장의 짧은 구간에만 분석이 가능한 기존 관계 추출 모델의 계산 및 정확도 제약을 극복하기 위해.
• 다중 작업 학습과 지식 그래프 임bedding을 활용해 레이블 공간이 큰 저자원 환경에서 성능을 향상시키기 위해.
• 장기 대화(최대 10분)에서 장거리 의존성을 포착할 수 있는 능력을 평가하기 위해, 관계가 여러 발화에 걸쳐 퍼질 수 있음을 고려하여.
• 메모리 버퍼와 지식 그래프 특징과 같은 아키텍처 구성 요소의 기여도를 추론 분석을 통해 정량화하기 위해.

제안 방법

• R-SAT는 이중 단계, 계층적 아키텍처를 사용한다: 먼저 태깅 메커니즘을 통해 실체와 성질의 후보 스파닝을 식별하고, 이후 사전 정의된 유형으로 분류한다.
• 메모리 버퍼는 탐지된 실체와 그들의 맥락에 대한 잠재 표현을 저장하여, 장거리 시퀀스 동안 실체와 성질 간의 관계를 효율적으로 공동 추론할 수 있도록 한다.
• 모델는 실체 인식, 성질 분류, 관계 추출을 공동 최적화하는 다중 작업 학습을 활용하며, 작업 간에 표현을 공유한다.
• 도메인 특화 임상 지식을 향상시키기 위해 입력 특징에 지식 그래프 임베딩을 통합한다.
• 모든 구성 요소를 공동 최적화할 수 있도록, 구조적 예측 손실을 사용하는 시퀀스-투-시퀀스 프레임워크를 통해 엔드 투 엔드로 학습한다.
• 관계 예측은 메모리 버퍼에 저장된 실체와 성질 스파닝 간의 어텐션 점수를 계산하여 수행되며, 이는 국소 문장 경계를 초월한 장거리 관계 탐지 가능성을 제공한다.

실험 결과

연구 질문

• RQ1 저자원 환경에서 임상 실체, 그들의 성질, 상호 실체 간 관계를 동시에 효과적이고 효율적으로 추론할 수 있는 단일 모델이 존재하는가?
• RQ2 장기적인 임상 대화에서 증상과 그 성질 간의 관계를 추출할 때, 모델의 성능이 강력한 기준 모델 대비 어떻게 비교되는가?
• RQ3 메모리 버퍼와 지식 그래프 임베딩과 같은 아키텍처 구성 요소가 성능 향상에 기여하는 정도는 어느 정도인가?
• RQ4 특히 관계가 여러 대화 턴(예: 3+ 문장)에 걸쳐 퍼질 경우, 모델는 장거리 의존성을 어떻게 처리하는가?
• RQ5 모델의 성능은 인간 애너테이터와 비교해 어떻게 평가되며, 임상 관계 추출의 주요 오류 원인은 무엇인가?

주요 결과

• R-SAT는 증상-성질 관계 추출에서 F1 점수 0.82를 기록하여 기준 모델(0.62) 대비 32% 향상되었다.
• 약물-성질 관계에서는 R-SAT가 F1 점수 0.60을 기록하여 기준 모델(0.41) 대비 50% 향상되었다.
• 실체와 관계를 동시에 추론하는 더 어려운 작업에서 R-SAT는 증상에 대해 F1 점수 0.34, 약물에 대해 0.45를 기록하였으며, 기준 모델(각각 0.18 및 0.35)보다 뚜렷이 뛰어났다.
• 3개 이상 문장에 걸쳐 올바르게 식별된 관계의 10.6%를 모델이 포착하였고, 이는 황금 표준의 11.1%와 밀도적으로 유사하여, 짧은 범위의 관계에 대한 편향이 없음을 시사한다.
• 추론 분석 결과, 메모리 버퍼와 지식 그래프 특징이 장거리 의존성 모델링에서 성능 향상에 크게 기여하는 것으로 나타났다.
• 인간 사서는 증상-성질 추출에서 F1 점수 0.51을 기록하였고, 모델는 인간 성능의 67%에 도달하여 강력한 성과를 기록했지만 여전히 향상 여지가 있음을 시사한다.