[논문 리뷰] Cross-Sentence N-ary Relation Extraction with Graph LSTMs

Nanyun Peng, Hoifung Poon외 3명|arXiv (Cornell University)|2017. 08. 12.

Topic Modeling참고 문헌 47인용 수 134

한 줄 요약

논문은 그래프 LSTM 프레임워크를 제안하여 교차 문장 n-ary 관계를 추출하고, 기준선 대비 정확도를 개선하며 생물의학에서 원거리 감독(distant supervision)을 가능하게 합니다. 또한 관련 하위 관계를 활용한 다중 작업 학습으로 성능을 높임을 보여줍니다.

ABSTRACT

Past work in relation extraction has focused on binary relations in single sentences. Recent NLP inroads in high-value domains have sparked interest in the more general setting of extracting n-ary relations that span multiple sentences. In this paper, we explore a general relation extraction framework based on graph long short-term memory networks (graph LSTMs) that can be easily extended to cross-sentence n-ary relation extraction. The graph formulation provides a unified way of exploring different LSTM approaches and incorporating various intra-sentential and inter-sentential dependencies, such as sequential, syntactic, and discourse relations. A robust contextual representation is learned for the entities, which serves as input to the relation classifier. This simplifies handling of relations with arbitrary arity, and enables multi-task learning with related relations. We evaluate this framework in two important precision medicine settings, demonstrating its effectiveness with both conventional supervised learning and distant supervision. Cross-sentence extraction produced larger knowledge bases. and multi-task learning significantly improved extraction accuracy. A thorough analysis of various LSTM approaches yielded useful insight the impact of linguistic analysis on extraction accuracy.

연구 동기 및 목표

• 고부가 가치 도메인인 생물의학과 같이 교차 문장, n-ary 관계 추출의 필요성을 제시한다.
• 구문 내부 및 문장 간 의존성을 인코딩하는 통합 그래프 LSTM 프레임워크를 개발한다.
• 관계 분류기를 위한 입력으로 사용할 엔티티의 견고한 맥락 표현을 학습한다.
• 추출 정확도를 향상시키기 위해 관련 하위 관계와의 다중 작업 학습을 enable한다.
• 감독 학습 및 원거리 감독 환경에서 평가하고 언어적 기여를 분석한다.

제안 방법

• 문장을 워드 인접성, 구문, 담화 관계를 포착하는 문서 그래프로 표현한다.
• 전방향 및 역방향 DAG 패스를 통해 맥락적 단어 및 엔티티 표현을 계산하기 위해 그래프 LSTM을 사용한다.
• 임의의 차수의 관계 분류기를 위한 입력으로 엔티티 표현을 연결한다.
• 완전한 간선 유형별 매개변수와 간선 유형 임베딩 및 텐서 곱을 활용한 두 가지 매개변수화를 탐색한다.
• 동일한 그래프 LSTM 표현을 공유하는 관련 하위 관계에 대한 분류기를 추가하여 다중 작업 학습을 적용한다.

실험 결과

연구 질문

• RQ1 그래프 LSTM이 풍부한 문장 내부 및 문장 간 의존성을 활용하여 교차 문장 n-ary 관계를 효과적으로 모델링할 수 있는가?
• RQ2 간선 유형별 매개변수 또는 간선 유형 임베딩이 교차 문장 관계 추출을 개선하는가?
• RQ3 하위 관계와의 다중 작업 학습이 n-ary 및 이진 관계의 성능을 향상시키는가?
• RQ4 생물의학 도메인에서 구문/담화 정보가 교차 문장 추출에 미치는 영향은 무엇인가?
• RQ5 대규모 생물의학 코퍼스에서 원거리 감독 하에 교차 문장 추출의 확장성은 어떠한가?

주요 결과

• 그래프 LSTM-FULL 및 그래프 LSTM-EMBED가 교차 문장 삼항 관계 추출에서 기준선(특징 기반, CNN, BiLSTM)보다 우수하게 작동한다.
• 교차 문장 설정에서 그래프 LSTM은 BiLSTM 및 CNN보다 유의하게 우수하며 p<0.05(McNemar 검정)로 차이가 난다.
• 하위 관계를 통한 다중 작업 학습은 삼항 및 이진 관계 모두에서 유의한 이득을 보인다.
• 간선 유형 임베딩은 전체 매개변화에 비해 비슷한 성능을 제공하여 매개변수 효율성을 시사한다.
• PubMed Central에서의 교차 문장 추출은 단일 문장 추출보다 더 많은 후보 및 검출된 상호 작용을 얻는다.