[논문 리뷰] End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures

Makoto Miwa, Mohit Bansal|arXiv (Cornell University)|2016. 01. 05.

Topic Modeling참고 문헌 40인용 수 197

한 줄 요약

이 논문은 엔티티를 공동 탐지하고 관계를 추출하는 엔드-투-엔드 신경망 모델을 소개하며, 스택된 양방향 순차 및 트리 구조 LSTM 네트워크를 사용하고, 엔티티 선학습과 스케줄링 샘플링을 도입한다.

ABSTRACT

We present a novel end-to-end neural model to extract entities and relations between them. Our recurrent neural network based model captures both word sequence and dependency tree substructure information by stacking bidirectional tree-structured LSTM-RNNs on bidirectional sequential LSTM-RNNs. This allows our model to jointly represent both entities and relations with shared parameters in a single model. We further encourage detection of entities during training and use of entity information in relation extraction via entity pretraining and scheduled sampling. Our model improves over the state-of-the-art feature-based model on end-to-end relation extraction, achieving 12.1% and 5.7% relative error reductions in F1-score on ACE2005 and ACE2004, respectively. We also show that our LSTM-RNN based model compares favorably to the state-of-the-art CNN based model (in F1-score) on nominal relation classification (SemEval-2010 Task 8). Finally, we present an extensive ablation analysis of several model components.

연구 동기 및 목표

• 파이프라인이 아닌 단일 모델로 엔티티와 관계를 엔드-투-엔드로 추출하도록 동기를 부여한다.
• 향상된 관계 추출을 위해 단어 시퀀스와 의존 트리 구조의 결합 표현을 탐구한다.
• 엔티티 선학습과 스케줄링 샘플링과 같은 학습 강화 기법이 엔드-투-엔드 학습의 안정성에 미치는 영향을 조사한다.
• ACE04/ACE05의 최첨단 특징 기반 모델과 비교 평가하고, 관계 분류 작업에서 CNN 기반 및 기타 신경망 모델과 대조한다.

제안 방법

• 임베딩으로 단어를 표현하고 선형 맥락을 포착하기 위해 양방향 시퀀스 LSTM 층으로 처리한다.
• 시퀀스 층 위에 양방향 트리 구조 LSTM를 쌓아 후보 엔티티 쌍 간의 의존 경로 정보를 인코딩한다.
• 공유 표현을 갖는 시퀀스 라벨링 헤드(BILOU 체계)를 통해 엔티티를 탐지한다.
• 관계 후보에 대해 트리-LSTM으로부터 의존 경로 기반 벡터를 계산하고 엔티티 수준 및 시퀀스 특징과 결합하여 관계 유형을 분류한다.
• 역전파를 통한 시간 축적 학습으로 엔드-투-엔드 학습을 train하고, 초기 학습 및 엔티티 품질 개선을 위해 스케줄링 샘플링과 엔티티 선학습을 사용한다.
• 다양한 트리/시퀀스 구조 및 학습 구성요소를 비교하는 제거 실험(ablation)을 수행한다.

실험 결과

연구 질문

• RQ1 엔드-투-엔드 신경망 모델이 특징 기반 시스템보다 더 정확하게 엔티티를 공동 탐지하고 관계를 분류할 수 있는가?
• RQ2 양방향 시퀀스 정보와 양방향 트리 구조 정보를 결합하는 것이 관계 추출을 향상시키는가?
• RQ3 엔티티 선학습 및 스케줄링 샘플링과 같은 학습 강화가 엔드-투-엔드 성능을 의미 있게 향상시키는가?
• RQ4 관계 추출에서 최단 경로 의존 표현이 신경망 모델에 효과적인가?
• RQ5 다른 LSTM-RNN 구조들(시퀀스 대 트리, 짧은 경로 대 전체 트리)이 엔드-투-엔드 관계 추출에서 어떻게 비교되는가?

주요 결과

데이터세트	모델	엔티티 P	엔티티 R	엔티티 F1	관계 P	관계 R	관계 F1
ACE05	Our Model (SPTree)	0.829	0.839	0.834	0.572	0.540	0.556
ACE05	(baseline/alternative)	0.852	0.769	0.808	0.654	0.398	0.495
ACE04	Our Model (SPTree)	0.808	0.829	0.818	0.487	0.481	0.484
ACE04	(baseline/alternative)	0.835	0.762	0.797	0.608	0.361	0.453

• ACE05에서 엔드-투-엔드 관계 추출의 최첨단 특징 기반 모델을 능가합니다( F1에서 상대 오류 감소 12.1% ). ACE04에서도 F1의 상대 오류 감소 5.7%를 달성합니다.
• SemEval-2010 Task 8에서 모델은 명사 관계 분류에 대해 최첨단 CNN 기반 모델과 경쟁하며 WordNet 정보를 사용할 경우 잠재적 이점이 있습니다.
• 엔티티 선학습과 스케줄링 샘플링은 엔드-투-엔드 성능을 크게 개선하여 관계 추출에 필요한 신뢰할 수 있는 엔티티 탐지의 중요성을 보여줍니다.
• 의존 정보에 대한 최단 경로(SPTree) 구조를 사용하면 강력한 성능을 보이며, 최단 경로 밖의 정보는 성능에 악영향을 줄 수 있습니다; LSTM 변종 중 SPTree가 종종 대안들을 일치시키거나 능가합니다.
• 엔티티 탐지와 관계 분류 간 매개변수 공유는 특히 제안된 학습 강화와 결합될 때 이점을 제공합니다.
• 제거 실험은 시퀀스 층이 관계 분류기에 엔티티 관련 정보를 제공하는 데 여전히 필요하다는 것을 보여주고, 쌍 단위 특징이 관계 분류를 향상시킵니다.