[논문 리뷰] CopyMTL: Copy Mechanism for Joint Extraction of Entities and Relations with Multi-Task Learning

Daojian Zeng, Ranran Haoran Zhang외 1명|arXiv (Cornell University)|2019. 11. 24.

Topic Modeling참고 문헌 26인용 수 11

한 줄 요약

이 논문은 복합 엔티티 및 관계 추출 성능을 향상시키기 위해 새로운 복사 메커니즘을 갖춘 다중 작업 학습 프레임워크인 CopyMTL을 제안한다. 헤드 및 테일 엔티티 예측을 전용 비선형 레이어로 분리하고, 다중 토큰 엔티티 인식을 위한 시퀀스 레이블링을 통합함으로써 CopyMTL는 기존 방법보다 F1 점수에서 NYT 기준 9%, WebNLG 기준 16% 향상된 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Joint extraction of entities and relations has received significant attention due to its potential of providing higher performance for both tasks. Among existing methods, CopyRE is effective and novel, which uses a sequence-to-sequence framework and copy mechanism to directly generate the relation triplets. However, it suffers from two fatal problems. The model is extremely weak at differing the head and tail entity, resulting in inaccurate entity extraction. It also cannot predict multi-token entities (e.g. extit{Steven Jobs}). To address these problems, we give a detailed analysis of the reasons behind the inaccurate entity extraction problem, and then propose a simple but extremely effective model structure to solve this problem. In addition, we propose a multi-task learning framework equipped with copy mechanism, called CopyMTL, to allow the model to predict multi-token entities. Experiments reveal the problems of CopyRE and show that our model achieves significant improvement over the current state-of-the-art method by 9% in NYT and 16% in WebNLG (F1 score). Our code is available at https://github.com/WindChimeRan/CopyMTL

연구 동기 및 목표

• CopyRE에서 엔티티 복사 과정에서의 불안정성 문제를 해결하기 위해, 헤드 및 테일 엔티티 예측이 공유된 분포에 의존하고 자연스럽지 않은 마스킹 메커니즘에 의존함으로써 정확도가 떨어지는 문제를 해결한다.
• CopyRE가 다중 토큰 엔티티를 처리하는 데에 한계를 지닌 점을 보완하기 위해, 모델이 단지 마지막 토큰이 아닌 전체 엔티티를 예측할 수 있도록 한다.
• 엔티티 경계 예측을 위한 시퀀스 레이블링과 관계 트리플릿 생성을 위한 시퀀스 투 시퀀스 생성을 동시에 최적화하는 다중 작업 학습 프레임워크를 개발한다.
• 엔티티 인식과 관계 분류 간의 상호의존성을 활용하여 공동 추출의 전체 성능을 향상시킨다.
• CopyRE의 실패 원인을 이론적으로 분석하여, 더 견고한 아키텍처로 이어지는 근본 원인을 규명한다.

제안 방법

• 헤드 및 테일 엔티티에 대해 별도의 비선형 완전 연결 레이어를 도입하여 서로 다른 확률 분포를 생성함으로써 마스킹이 필요 없도록 새로운 모델 아키텍처를 제안한다.
• 에코더 단계에 시퀀스 레이블링 레이어를 통합하여 엔티티의 시작 위치를 예측함으로써 다중 토큰 엔티티를 인식할 수 있도록 한다.
• 다중 작업 학습을 통해 시퀀스 레이블링 헤드(엔티티 경계)와 시퀀스 투 시퀀스 디코더(관계 트리플릿)의 손실를 동시에 최적화한다.
• 디코더에서 복사 메커니즘을 활용해 각 엔티티의 마지막 토큰을 가리키되, 전체 스파니를 식별하는 데는 시퀀스 레이블링 헤드에 의존한다.
• 엔티티 경계 검출과 트리플릿 생성 간의 균형을 맞추기 위해 통합된 다중 작업 손실 함수를 사용해 모델을 엔드 투 엔드로 훈련한다.
• 테일 엔티티 예측이 헤드 엔티티 예측의 정보를 포함하도록 하여 구조적 일致성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 CopyRE가 헤드 및 테일 엔티티를 정확히 구분하지 못하는 이유는 무엇이며, 불안정한 복사 행동의 근본 원인은 무엇인가?
• RQ2 엔티티 복사 과정에서 자연스럽지 않은 마스킹 메커니즘을 제거하기 위해 모델은 어떻게 수정되어야 하는가?
• RQ3 모델이 단지 마지막 토큰이 아닌 전체 다중 토큰 엔티티를 추출할 수 있도록 하기 위해 필요한 아키텍처 변경 사항은 무엇인가?
• RQ4 시퀀스 레이블링과 시퀀스 투 시퀀스 생성을 조합한 다중 작업 학습 프레임워크가 공동 엔티티 및 관계 추출 성능을 크게 향상시킬 수 있는가?
• RQ5 기존 최신 기술 수준의 모델 대비 제안된 아키텍처가 표준 벤치마크에서 F1 점수 측면에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• CopyMTL는 NYT 데이터셋에서 70.9%의 F1 점수를 기록하여 이전 최신 기술 수준 방법 대비 9% 향상된 성능을 달성한다.
• WebNLG 데이터셋에서는 58.9%의 F1 점수를 기록하여 기존 최신 기술 수준 대비 16% 향상된 성능을 보였다.
• CopyMTL의 시퀀스 레이블링 구성 요소는 NYT에서 99%의 F1 점수, WebNLG에서 96%의 F1 점수를 기록하여 엔티티 경계 식별 능력이 뛰어나다는 것을 보여준다.
• 제거 실험 결과, 제안된 아키텍처가 헤드-테일 엔티티 구분을 크게 향상시켜 마스킹이 필요 없음을 확인했다.
• CopyRE가 포착하지 못하는 완전한 다중 토큰 엔티티인 "Steven Jobs"와 같은 엔티티도 성공적으로 추출했다.
• 분석 결과, CopyRE가 헤드 및 테일 엔티티에 동일한 분포를 사용함으로써 일반화 능력이 떨어지고 마스킹에 의존하게 되는 것으로 밝혀졌다.