[논문 리뷰] SEE: Syntax-aware Entity Embedding for Neural Relation Extraction

Zhengqiu He, Wenliang Chen외 4명|arXiv (Cornell University)|2018. 01. 11.

Topic Modeling참고 문헌 24인용 수 21

한 줄 요약

이 논문은 트리-GRU와 주의 메커니즘을 통해 의존 트리 구조를 활용하여 엔티티 표현을 향상시키는 구문 인지 엔티티 임베딩(SEE)을 제안한다. 문맥적 구조 내에서 문장 내 및 문장 간 주의 메커니즘을 통합함으로써 SEE는 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 원거리 감독 노이즈를 효과적으로 다루고 관계 의미를 잘 포착한다.

ABSTRACT

Distant supervised relation extraction is an efficient approach to scale relation extraction to very large corpora, and has been widely used to find novel relational facts from plain text. Recent studies on neural relation extraction have shown great progress on this task via modeling the sentences in low-dimensional spaces, but seldom considered syntax information to model the entities. In this paper, we propose to learn syntax-aware entity embedding for neural relation extraction. First, we encode the context of entities on a dependency tree as sentence-level entity embedding based on tree-GRU. Then, we utilize both intra-sentence and inter-sentence attentions to obtain sentence set-level entity embedding over all sentences containing the focus entity pair. Finally, we combine both sentence embedding and entity embedding for relation classification. We conduct experiments on a widely used real-world dataset and the experimental results show that our model can make full use of all informative instances and achieve state-of-the-art performance of relation extraction.

연구 동기 및 목표

• 기존 신경 관계 추출 모델이 엔티티 표현에서 구문 구조를 충분히 활용하지 못하는 한계를 해결하기 위해.
• 의존 트리에서 유래한 구문적 문맥을 통해 엔티티 임베딩을 풍부하게 하여 원거리 감독에서 발생하는 노이즈를 줄이기 위해.
• 다중 수준 주의를 통해 문장 수준의 임베딩과 구문 인지 엔티티 임베딩을 결합하여 관계 분류 성능을 향상시키기 위해.
• 문장 내 엔티티의 구문적 역할이 단순한 단어 순서를 넘어서 관계 추출에 의미 있는 정보를 제공한다는 것을 입증하기 위해.

제안 방법

• 의존 트리에서 각 엔티티의 구문적 문맥을 트리-GRU를 통해 재귀적으로 인코딩하여 문장 수준의 엔티티 임베딩을 생성한다.
• 파싱 트리의 자식 노드에 대해 문장 내 주의 메커니즘을 적용하여 엔티티 주변의 정보성 있는 구문 하위구조를 강조한다.
• 동일한 엔티티 쌍을 포함하는 여러 문장 간 주의 메커니즘을 사용하여 가장 관련성이 높은 문맥 표현을 선택한다.
• 최종 관계 분류를 위해 문장 임베딩과 구문 인지 엔티티 임베딩을 결합하고 소프트맥스 레이어를 사용한다.
• 원거리 감독에 내재된 레이블 노이즈를 완화하기 위해 다중 인스턴스 학습을 활용한다.
• 지역적 구문 구조와 전반적인 문장 수준의 문맥을 통합하여 일반화 능력과 견고성을 향상시킨다.

실험 결과

연구 질문

• RQ1 의존 트리에서 파생된 구문 인지 엔티티 임베딩이 원거리 감독 하에서 신경 관계 추출 성능을 향상시킬 수 있는가?
• RQ2 트리 구조 모델을 통해 엔티티의 구문적 역할을 통합할 경우 관계 분류 성능에 어떤 영향을 미치는가?
• RQ3 문장 내 및 문장 간 주의 메커니즘이 관계 추출에서 엔티티 문맥 표현을 얼마나 향상시키는가?
• RQ4 구문적 구조로 엔티티 임베딩을 풍부하게 할 경우 원거리 감독에서 노이즈 레이블의 영향을 줄일 수 있는가?
• RQ5 제안된 방법이 실제 관계 추출 벤치마크에서 기존 최신 기술 수준 모델을 초월할 수 있는가?

주요 결과

• 제안된 SEE 모델은 널리 사용되는 신경 관계 추출 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 모델은 잘못된 NA(관계 없음) 예측 확률을 크게 감소시켜, 사례 연구에서 기준 모델의 0.735에서 훨씬 낮은 값으로 낮춘다.
• 구문 인지 엔티티 임베딩을 통합함으로써 최단 의존 경로를 초월한 장거리 구문적 종속성을 잘 포착하여 더 정확한 관계 분류가 가능하다.
• 문장 내 및 문장 간 주의 메커니즘을 모두 사용함으로써 다양한 문장 구조에 걸쳐 모델의 견고성과 일반화 능력이 향상된다.
• 모델는 기준 모델 및 이전 SOTA 방법에 비해 일관되게 향상되며, 특히 모호하거나 노이즈가 많은 학습 인스턴스 처리에 뛰어난 성능을 보인다.