[논문 리뷰] Connecting the Dots: Document-level Neural Relation Extraction with Edge-oriented Graphs

Fenia Christopoulou, Makoto Miwa외 1명|arXiv (Cornell University)|2019. 08. 31.

Topic Modeling참고 문헌 43인용 수 6

한 줄 요약

이 논문은 문서 수준의 관계 추출을 위한 엣지 중심 그래프 신경망을 제안하며, 동일한 엔티티의 여러 언급을 다수의 언급으로 간주하여 다중 예측 학습을 적용함으로써, 이질적인 노드(엔티티, 언급, 문장) 간의 고유한 엣지 표현을 통해 관계를 모델링한다. 이는 노드 수준의 표현에 의존하지 않는다. 이 방법은 반복적인 엣지 추론 메커니즘과 다중 예측 학습을 사용하여 생물의학 분야의 두 데이터셋에서 화학-질병 및 유전자-질병 관계 추출 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Document-level relation extraction is a complex human process that requires logical inference to extract relationships between named entities in text. Existing approaches use graph-based neural models with words as nodes and edges as relations between them, to encode relations across sentences. These models are node-based, i.e., they form pair representations based solely on the two target node representations. However, entity relations can be better expressed through unique edge representations formed as paths between nodes. We thus propose an edge-oriented graph neural model for document-level relation extraction. The model utilises different types of nodes and edges to create a document-level graph. An inference mechanism on the graph edges enables to learn intra- and inter-sentence relations using multi-instance learning internally. Experiments on two document-level biomedical datasets for chemical-disease and gene-disease associations show the usefulness of the proposed edge-oriented approach.

연구 동기 및 목표

• 문서 수준의 관계 추출에서 문장 간 복잡하고 장거리 관계를 포착하는 데에 노드 기반 그래프 모델의 한계를 해결하기 위해.
• 다양한 노드 유형과 엣지 유형을 갖춘 이질적 문서 그래프를 사용하여 문장 내 및 문장 간 관계를 동시에 모델링하기 위해.
• 엔티티 언급 간의 맥락적 종속성을 캐릭터화하는 고유한 엣지 표현에 초점을 맞춰 관계 추론을 향상시키기 위해.
• 동일한 엔티티의 여러 언급을 바탕으로 다중 예측 학습을 활용하여 자원이 제한된 환경에서의 강건성과 일반화 능력을 향상시키기 위해.

제안 방법

• 엔티티, 언급, 또는 문장을 노드로 하는 문서 수준의 그래프를 구축하고, 공존 또는 문법적 의존성과 같은 히우리스틱 규칙에 기반해 엣지를 생성한다.
• 예를 들어 언급-엔티티, 언급-문장, 문장-문장 등의 다양한 엣지 유형을 정의하여 다양한 관계와 의존성을 인코딩한다.
• 연결된 노드를 통해 정보를 전파함으로써 엣지 표현을 업데이트하는 반복적 엣지 집계 메커니즘을 사용하여 맥락적 추론을 가능하게 한다.
• 동일한 엔티티의 여러 언급을 한 묶음(bag)으로 간주하여 다중 예측 학습을 적용함으로써, 가장 정보가 많은 언급 쌍을 기반으로 관계를 예측할 수 있도록 한다.
• 엣지 수준 예측에 대한 교차 엔트로피 손실을 사용하여 모델을 훈련하고, 다양한 경로의 중요도를 가중치로 고려하기 위해 어텐션 메커니즘을 적용한다.
• 소스 노드와 타겟 노드의 특징을 학습된 어텐션 가중치와 함께 조합하여 엣지 표현을 업데이트하는 게이트 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 엣지 중심 그래프 신경망은 기존의 노드 기반 모델보다 문서 수준의 관계 추출에서 더 우수한 성능을 보일 수 있는가?
• RQ2 이질적 노드 및 엣지 유형의 사용은 문장 내 및 문장 간 종속성을 모델링하는 데 얼마나 효과적인가?
• RQ3 동일 엔티티의 여러 언급에 대한 다중 예측 학습은 생물의학 문서에서 관계 예측 정확도를 얼마나 향상시키는가?
• RQ4 복잡한 다중 문장 관계에서 엣지 표현은 노드 표현보다 장거리 종속성을 더 잘 포착할 수 있는가?
• RQ5 고유한 엣지 경로를 통해 관계를 모델링하면 문서 수준의 생물의학 관계 추출 벤치마크에서 F1 점수와 정밀도가 향상되는가?

주요 결과

• 제안된 엣지 중심 모델은 화학-질병 관계 추출을 위한 CDR 및 유전자-질병 관계 추출을 위한 GAD라는 두 생물의학 문서 수준 관계 추출 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 강력한 기준 모델 대비 CDR 데이터셋에서 최대 3.2% 향상된 F1 점수와 GAD 데이터셋에서 2.1% 향상된 F1 점수를 기록하여 엣지 기반 추론의 효과성을 입증한다.
• 이질적 노드(엔티티, 언급, 문장)와 엣지 유형의 사용은 복잡한 논의 수준의 종속성을 포착하는 데 모델의 능력을 크게 향상시킨다.
• 동일 엔티티의 여러 언급에 대한 다중 예측 학습은 특히 문장 내 관계에서 더 높은 정밀도와 F1 점수를 제공하며, 언급 수준의 감독이 일반화 능력을 향상시킨다는 것을 시사한다.
• 절단 실험 결과, 반복적 엣지 집계 메커니즘이 문장 간 장거리 종속성을 포착하는 데 핵심적인 역할을 한다는 것이 확인되었다.
• 엔티티 별칭 및 공호성 처리에서도 모델은 강건성을 보였으며, 동일 엔티티의 여러 언급을 포함한 관계에서 성능 향상이 관찰되었다.