[논문 리뷰] A General Framework for Information Extraction using Dynamic Span Graphs

Yi Luan, Dave Wadden외 4명|arXiv (Cornell University)|2019. 04. 05.

Topic Modeling참고 문헌 35인용 수 37

한 줄 요약

DyGIE는 동적 스팬 그래프를 도입하여 엔티티, 관계, 코어퍼런스를 공동으로 추출하고, 다수 도메인에서 최첨단 결과를 달성하며 겹치는 스팬도 잘 처리합니다.

ABSTRACT

We introduce a general framework for several information extraction tasks that share span representations using dynamically constructed span graphs. The graphs are constructed by selecting the most confident entity spans and linking these nodes with confidence-weighted relation types and coreferences. The dynamic span graph allows coreference and relation type confidences to propagate through the graph to iteratively refine the span representations. This is unlike previous multi-task frameworks for information extraction in which the only interaction between tasks is in the shared first-layer LSTM. Our framework significantly outperforms the state-of-the-art on multiple information extraction tasks across multiple datasets reflecting different domains. We further observe that the span enumeration approach is good at detecting nested span entities, with significant F1 score improvement on the ACE dataset.

연구 동기 및 목표

• span 표현을 공유하는 태스크 간의 공동 정보 추출 동기 부여.
• 동적 그래프를 통해 스팬 표현을 정제하는 일반적이고 도메인에 구애받지 않는 프레임워크 제안.
• 코어퍼런스 및 관계 링크를 통한 맥락 전파로 예측을 개선.
• 여러 데이터셋과 도메인에서의 강건한 실험적 성능 시연.

제안 방법

• 최대 길이까지의 모든 후보 스팬을 열거하고 초기 스팬 표현을 계산한다.
• 신뢰도가 높은 스팬을 노드로 선택하고 신뢰도 가중 코어퍼런스 및 관계 엣지로 연결하여 동적 스팬 그래프를 구성한다.
• 코어퍼런스와 관계 계층을 통해 맥락을 전파하고 반복적인 업데이트로 스팬 표현을 정제한다.
• 각 전파 단계마다 기존 정보와 새로운 정보를 결합하기 위해 게이트식 업데이트를 사용한다.
• 정제된 스팬 표현으로 엔티티 유형과 관계 유형을 예측하고 코어퍼런스 감독과 함께 공동 학습한다.
• 엔티티, 관계, 코어퍼런스의 가능도 로그합 손실 가중합으로 학습한다.

실험 결과

연구 질문

• RQ1 동적 스팬 그래프 방식이 전통적인 공유 인코더 멀티태스크 모델에 비해 엔티티, 관계, 코어퍼런스를 포함한 교차태스크 정보추출 성능을 개선할 수 있는가?
• RQ2 코어퍼런스 및 관계 연결을 통한 맥락 전파가 다양한 도메인에서 스팬 표현 및 하류 예측을 향상시키는가?
• RQ3 외부 구문 도구가 없는 도메인에서도 겹치는 스팬 탐지에 프레임워크가 효과적인가?
• RQ4 엔티티 추출과 관계 추출에서 코어퍼런스 전파가 미치는 영향은 무엇인가?

주요 결과

• ACE04, ACE05, SciERC, Wet Lab Protocol Corpus 전반의 엔티티 및 관계 추출에서 최첨단 성능을 달성.
• ACE04-O, ACE05-O, GENIA에서 겹치는 엔티티 추출에서 기존 방법 대비 상당한 개선을 보임.
• ACE04와 ACE05에서 DyGIE는 NER에서 각각 7.1% 및 7.0%의 상대 개선, RE에서 각각 25.8% 및 13.7%의 개선을 달성.
• SciERC에서 관계 추출 5.9%, NER 1.9%의 지표 향상을 보임.
• WLPC에서 골 엔티티 경계 없이도 관계 추출이 16.8%, NER이 2.2% 향상.
• 코어퍼런스 전파는 대명사 해석 및 문장 간 맥락에서 유의미한 도움을 주고, 관계 전파는 특히 다수의 엔티티가 있는 문장에서 관계 추출을 견고하게 향상시킴.