[논문 리뷰] Paired Representation Learning for Event and Entity Coreference.

Xiaodong Yu, Wenpeng Yin외 1명|arXiv (Cornell University)|2020. 10. 24.

Topic Modeling참고 문헌 24인용 수 23

한 줄 요약

이 논문은 이벤트 및 엔티티 공존 해석을 위한 통합 프레임워크인 페어드 표현 학습(PairedRL)을 제안한다. 이는 이벤트의 구성 요소와 상대 요소의 개별적 및 상호적 맥락을 하나의 시퀀스로 통합하여 쌍을 이루는 요소들을 함께 모델링한다. 이벤트의 구성 요소들에 대한 구조적 표현을 유지하고 교차 맥락 인코딩을 활용함으로써 PairedRL은 내부 문서 및 교차 문서 공존 해석 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, 이는 이전 방법들보다 뚜렷하게 뛰어나다.

ABSTRACT

Co-reference of Events and of Entities are commonly formulated as binary classification problems, given a pair of events or entities as input. Earlier work addressed the main challenge in these problems -- the representation of each element in the input pair by: (i) modelling the representation of one element (event or entity) without considering the other element in the pair; (ii) encoding all attributes of one element (e.g., arguments of an event) into a single non-interpretable vector, thus losing the ability to compare cross-element attributes. In this work we propose paired representation learning (PairedRL) for coreference resolution. Given a pair of elements (Events or Entities) our model treats the pair's sentences as a single sequence so that each element in the pair learns its representation by encoding its own context as well the other element's context. In addition, when representing events, PairedRL is structured in that it represents the event's arguments to facilitate their individual contribution to the final prediction. As we show, in both (within-document & cross-document) event and entity coreference benchmarks, our unified approach, PairedRL, outperforms prior state of the art systems with a large margin.

연구 동기 및 목표

• 자신의 맥락을 고려하지 않고 하나의 요소만 별도로 표현하는 기존 공존 모델의 한계를 해결하기 위해.
• 공유된 시퀀스 내에서 쌍의 두 요소를 함께 인코딩하여 해석 가능성과 상호 속성 비교의 손실을 해소하기 위해.
• 공존 쌍 내의 요소들 간의 세밀한 비교를 가능하게 하기 위해 이벤트의 구성 요소들에 대한 구조적 정보를 유지하기 위해.
• 내부 문서 및 교차 문서 설정을 포함한 이벤트 및 엔티티 공존 과제에서 모두 잘 작동하는 통합 프레임워크를 개발하기 위해.
• 각 요소를 독립적으로 표현하는 대신, 쌍의 요소 간 상호 맥락을 모델링하여 성능을 향상시키기 위해.

제안 방법

• 각 이벤트 또는 엔티티의 쌍을 하나의 입력 시퀀스로 간주하여, 각 요소의 문장을 결합함으로써 공동 인코딩을 가능하게 한다.
• 타겟 요소와 그 쌍이 되는 상대 요소의 맥락을 포함한 표현을 학습하기 위해 트랜스포머 기반 인코더를 사용한다.
• 참여자, 시간, 장소 등의 구성 요소를 별도로 인코딩할 수 있도록 이벤트 표현을 구조화하여 해석 가능한 비교를 지원한다.
• 공동 파라미터를 사용하여 이벤트 및 엔티티 과제 간에 끝에서 끝까지 훈련하며, 공존 쌍에 대한 이진 분류 손실을 사용한다.
• 각 요소가 다른 요소의 맥락에 주의를 기울일 수 있도록 주의 메커니즘을 활용하여 요소 간 정렬을 향상시킨다.
• 이벤트 및 엔티티 유형 간에 공통된 표현 학습을 적용하여, 다양한 공존 유형 간의 전이 및 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 자신의 맥락을 고려하지 않고 별도로 모델링하는 것과 비교해, 쌍의 요소들을 함께 인코딩하는 것이 공존 해석 성능 향상에 기여하는가?
• RQ2 이벤트의 구성 요소 수준에서의 구조적 표현을 유지하면 공존 과제에서 예측 정확도 향상에 기여하는가?
• RQ3 통합된 모델 아키텍처가 일관된 향상으로 이벤트 및 엔티티 공존을 효과적으로 처리할 수 있는가?
• RQ4 내부 문서 및 교차 문서 공존 설정 모두에서 모델의 성능은 어떠한가?
• RQ5 각 요소를 별도로 모델링하는 것보다, 요소 간 상호 맥락을 모델링함으로써 더 나은 정렬이 이루어지는가?

주요 결과

• PairedRL은 이벤트 및 엔티티 공존 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, 이는 이전 방법들보다 뚜렷하게 뛰어나다.
• 장거리 및 맥락 기반 정렬이 중요한 교차 문서 공존에서 성능 향상이 이루어진다.
• 쌍의 두 요소를 함께 인코딩하는 것이 한 요소만 별도로 모델링하는 것보다 더 나은 표현 학습을 이끈다.
• 이벤트 표현에서 구성 요소 수준의 구조를 유지함으로써 모델의 공존에 대한 추론 능력이 향상된다.
• 통합 아키텍처는 이벤트 및 엔티티 유형 간에 잘 일반화되며, 강건성과 전이 가능성(transferability)을 보여준다.
• 성능 향상은 매우 뚜렷하며, 이는 이전의 최신 기술(SOTA) 시스템 대비 큰 폭의 개선을 보고한다.