[논문 리뷰] Biomedical Event Extraction on Graph Edge-conditioned Attention Networks with Hierarchical Knowledge Graphs

Kung-Hsiang Huang, Mu Yang외 1명|arXiv (Cornell University)|2020. 09. 20.

Biomedical Text Mining and Ontologies인용 수 5

한 줄 요약

이 논문은 UMLS로부터의 계층적 지식 그래프를 통합한 그래프 엣지 조건화 주의망(GEANet)을 제안하여 생물의학 이벤트 추출을 향상시킨다. 특히 비의미적 트리거를 가진 중첩되고 복잡한 이벤트에 대해 개선된다. 문장을 구조화된 지식 그래프에 고정하고 GEANet을 활용한 메시지 전파를 통해 모델은 BioNLP 2011 GENIA 벤치마크에서 모든 이벤트와 복잡한 이벤트에 대해 각각 1.41% 및 3.19%의 F1 향상을 달성한다.

ABSTRACT

Biomedical event extraction is critical in understanding biomolecular interactions described in scientific corpus. One of the main challenges is to identify nested structured events that are associated with non-indicative trigger words. We propose to incorporate domain knowledge from Unified Medical Language System (UMLS) to a pre-trained language model via Graph Edge-conditioned Attention Networks (GEANet) and hierarchical graph representation. To better recognize the trigger words, each sentence is first grounded to a sentence graph based on a jointly modeled hierarchical knowledge graph from UMLS. The grounded graphs are then propagated by GEANet, a novel graph neural networks for enhanced capabilities in inferring complex events. On BioNLP 2011 GENIA Event Extraction task, our approach achieved 1.41% F1 and 3.19% F1 improvements on all events and complex events, respectively. Ablation studies confirm the importance of GEANet and hierarchical KG.

연구 동기 및 목표

• 과학적 텍스트에서 비의미적 트리거어를 가진 중첩되고 복잡한 생물의학 이벤트를 식별하는 데 도전하는 문제를 해결한다.
• 통합 의료어휘체계(UMLS)로부터 도메인 특화 지식을 사전 학습된 언어 모델에 통합하여 이벤트 탐지 성능을 향상시킨다.
• 생물의학적 실체와 이벤트 간의 관계를 더 잘 모델링하기 위해 계층적 지식 그래프 표현을 개발한다.
• 엣지 조건화 주의 메커니즘을 통해 이벤트 추론을 향상시키는 새로운 그래프 신경망인 GEANet을 설계한다.
• 특히 복잡한 이벤트 유형에 대해 BioNLP 2011 GENIA 이벤트 추출 벤치마크에서 성능을 향상시킨다.

제안 방법

• UMLS로부터 생물의학 개념과 그들의 관계를 다중 추상 수준에서 표현하는 계층적 지식 그래프를 구축한다.
• 각 문장을 해당 문장 전용 그래프에 연결하여 실체를 계층적 지식 그래프 내 해당 노드에 연결함으로써 고정한다.
• 그래프 엣지 조건화 주의망(GEANet)을 적용하여 그래프를 따라 표현을 전파하며, 여기서 주의 가중치는 엣지 특징에 따라 조건화된다.
• GEANet에서 향상된 문맥 표현을 사용하여 장거리 및 복잡한 종속성을 더 잘 모델링함으로써 이벤트 트리거와 인과관계를 예측한다.
• 그래프 기반 표현을 활용해 사전 학습된 언어 모델을 미세조정하여 이벤트 탐지와 인과관계 분류를 동시에 최적화한다.
• 엣지 조건화 주의를 통해 그래프 엣지의 의미적 및 구조적 특성에 따라 메시지 전파를 동적으로 조정한다.

실험 결과

연구 질문

• RQ1 UMLS로부터의 계층적 지식 그래프 통합이 비의미적 트리거를 가진 생물의학 이벤트 탐지에 기여하는가?
• RQ2 기본 그래프 신경망에 비해 GEANet이 중첩되고 복잡한 이벤트 구조의 모델링을 얼마나 향상시키는가?
• RQ3 지식 그래프의 계층적 구조가 이벤트 추출 작업에서 더 나은 일반화 성능을 어떻게 기여하는가?
• RQ4 지식 그래프 표현과 GEANet 아키텍처 중 어느 것이 복잡한 이벤트의 F1 점수 향상에 더 큰 기여를 하는가?
• RQ5 엣지 조건화 주의 메커니즘이 기존 주의 메커니즘에 비해 그래프 기반 모델에서 더 정확한 이벤트 트리거 식별을 가능하게 하는가?

주요 결과

• 제안된 방법은 BioNLP 2011 GENIA 이벤트 추출 데이터셋에서 기준 모델 대비 모든 이벤트에 대해 1.41%의 절대 F1 향상을 달성했다.
• 특히 중첩된 구조와 비의미적 트리거를 가진 복잡한 이벤트의 경우, 모델은 3.19%의 F1 향상을 보였으며, 도전적인 케이스에서 강력한 성능을 입증했다.
• 제거 실험 결과, GEANet와 계층적 지식 그래프 구성 요소 모두 성능 향상에 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 복잡한 이벤트에서 F1 점수가 2% 이상 감소했다.
• UMLS 기반 지식 그래프 통합은 문맥 기반 의미적 사전 지식을 통해 애매한 실체 및 이벤트 참조를 해소하는 데 모델의 능력을 크게 향상시켰다.
• 엣지 조건화 주의 메커니즘은 이벤트 그래프 내 장거리 종속성과 구조적 패턴을 효과적으로 포착하여, 메시지 전파에서 기존 주의 메커니즘을 능가했다.
• 계층적 지식 그래프가 제공하는 인덕티브 바이어스 덕분에 드물거나 빈도가 낮은 이벤트 유형의 탐지에서도 모델은 강건성을 보였다.