[논문 리뷰] Supporting Medical Relation Extraction via Causality-Pruned Semantic Dependency Forest

Yifan Jin, Jiangmeng Li외 3명|arXiv (Cornell University)|2022. 08. 29.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 심층 구조적 정보를 갖춘 의료 관계 추출을 위한 새로운 방법인 CP-GCN을 제안한다. 이 방법은 외부 파서에서 제공하는 1-best 의존 구조 트리와 다중 헤드 어텐션 기반의 의미적 표현을 융합하여 인과성에 기반한 간소화된 의미적 의존 숲을 구성한다. 작업 전용 인과 설명 모델은 그랜저 인과 기반 설명 데이터셋을 기반으로 학습되어 관계 추출 성능에 기여하는 엣지만을 식별하고, 이를 통해 그래프 컬러이션 네트워크(GCN)가 더 견고한 표현을 학습할 수 있도록 한다. CP-GCN는 PGR 벤치마크에서 92.9의 F1 스코어를 기록하며 최신 기술 수준을 달성한다.

ABSTRACT

Medical Relation Extraction (MRE) task aims to extract relations between entities in medical texts. Traditional relation extraction methods achieve impressive success by exploring the syntactic information, e.g., dependency tree. However, the quality of the 1-best dependency tree for medical texts produced by an out-of-domain parser is relatively limited so that the performance of medical relation extraction method may degenerate. To this end, we propose a method to jointly model semantic and syntactic information from medical texts based on causal explanation theory. We generate dependency forests consisting of the semantic-embedded 1-best dependency tree. Then, a task-specific causal explainer is adopted to prune the dependency forests, which are further fed into a designed graph convolutional network to learn the corresponding representation for downstream task. Empirically, the various comparisons on benchmark medical datasets demonstrate the effectiveness of our model.

연구 동기 및 목표

• 외부 도메인 파서에서 생성한 저품질의 1-best 의존 트리로 인한 의료 관계 추출(MRE) 성능 저하 문제를 해결하기 위해.
• 의료 텍스트에서 문법적 정보와 의미적 정보를 편향 없이 통합적으로 모델링하여 파서에 의존하는 편향을 피하기 위해.
• 인과 설명 이론을 활용해 의존 숲에서 작업에 무관한 엣지를 식별하고 제거하여 모델의 견고성과 해석 가능성 향상시키기 위해.
• 새로운 인과 기반 간소화 메커니즘을 통해 벤치마크 MRE 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 외부 파서에서 제공하는 1-best 의존 트리를 다중 헤드 어텐션 기반 의미 표현과 융합하여 문법적 및 의미적 정보를 풍부하게 한 의존 숲을 구성한다.
• 그랜저 인과 기반 설명 데이터셋을 기반으로 작업 전용 인과 설명 모델을 학습시켜 MRE 성능에 기여하는 엣지를 식별한다.
• 설명 모델이 할당한 인과 가중치를 기반으로 의존 숲을 간소화하여 관계 예측 작업에 무관한 엣지를 제거한다.
• 간소화된 의존 숲을 전용 그래프 컬러이션 네트워크(DCGCN)로 인코딩하여 관계 분류를 위한 맥락 인식 표현을 학습한다.
• 숲 구성 과정에서 문법적 및 의미적 정보 통합을 동적으로 균형 잡기 위해 스위치 게이트 메커니즘을 도입한다.
• 숲 생성 과정을 통해 키르히호프의 행렬-트리 정리를 암묵적으로 활용하여 구조적 다양성과 타당한 의존 구조의 포괄성을 확보한다.

실험 결과

연구 질문

• RQ1 의존 숲에서 문법적 및 의미적 정보를 통합적으로 모델링하면 단일 1-best 트리에 의존하는 것보다 의료 관계 추출 성능을 향상시킬 수 있는가?
• RQ2 작업 전용 인과 설명 모델을 사용해 의존 숲을 간소화하면, 간소화되지 않은 또는 히우리스틱 기반 간소화된 숲보다 성능 향상이 이루어지는가?
• RQ3 제안된 인과 간소화 메커니즘은 복잡한 의료 문장에서 노이즈와 관련 없는 문법적 연결을 얼마나 효과적으로 걸러내는가?
• RQ4 기존 방법들과 비교해 복잡하고 긴 의료 문장에서도 모델의 성능 유지 정도는 어떠한가?

주요 결과

• CP-GCN는 PGR 벤치마크 데이터셋에서 기존 방법들인 AC-GCN(92.4) 및 LF-GCN(91.9)을 초월해 최신 기술 수준의 F1 스코어 92.9를 기록했다.
• CPR 데이터셋에서는 F1 스코어 67.3을 기록하여 복잡한 의료 텍스트에서도 문장 수준의 관계 추출에서 뛰어난 성능을 보였다.
• 절단 실험 결과, 작업 전용 인과 간소화 모듈을 제거할 경우 F1 스코어가 65.7로 떨어지며 이는 노이즈 필터링 및 모델 일반화 향상에 있어 그 모듈의 핵심적 역할을 확인한다.
• 모든 문장 길이 그룹에서 모든 기준 모델을 초월했으며, 특히 50단어 이상의 장문 문장에서 뚜렷한 성능 향상이 있었으며 이는 장거리 의존성 탐지 능력을 보여준다.
• 사례 연구 결과, 인과 설명 모델이 관계 예측에 기여하는 핵심 의미적 및 문법적 연결(예: 'induced'와 'feature' 사이의 연결)을 성공적으로 유지함을 확인했다.
• 의미 임베딩 모듈을 제거할 경우 F1 스코어가 66.7로 떨어지며, 강화된 의미 표현이 모델 성능에 기여한다는 점을 확인한다.