[논문 리뷰] Two are Better than One: Joint Entity and Relation Extraction with Table-Sequence Encoders

Jue Wang, Wei Lu|arXiv (Cornell University)|2020. 10. 08.

Topic Modeling참고 문헌 55인용 수 11

한 줄 요약

이 논문은 이름 붙인 실체 인식(NER)과 관계 추출(RE)을 동시에 수행하기 위해 두 가지 다른 인코더—NER용 시퀀스 인코더와 RE용 테이블 인코더—를 사용하는 새로운 테이블-시퀀스 인코더 아키텍처를 제안한다. 이 인코더들은 상호작용하여 작업별 대응 표현을 학습하도록 설계되어 있다. 이 방법은 BERT의 어텐션 가중치를 활용하여 테이블 표현 학습을 향상시키며, ACE04, ACE05, CoNLL04, ADE 네 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Named entity recognition and relation extraction are two important fundamental problems. Joint learning algorithms have been proposed to solve both tasks simultaneously, and many of them cast the joint task as a table-filling problem. However, they typically focused on learning a single encoder (usually learning representation in the form of a table) to capture information required for both tasks within the same space. We argue that it can be beneficial to design two distinct encoders to capture such two different types of information in the learning process. In this work, we propose the novel {\em table-sequence encoders} where two different encoders -- a table encoder and a sequence encoder are designed to help each other in the representation learning process. Our experiments confirm the advantages of having {\em two} encoders over {\em one} encoder. On several standard datasets, our model shows significant improvements over existing approaches.

연구 동기 및 목표

• 공유 표현 학습에 의한 오류 전파와 특징 혼동 문제를 해결하기 위해 각 작업에 대해 표현 학습을 분리함으로써 성능 향상을 도모한다.
• 테이블을 시퀀스로 변환할 때 손실되는 2차원 테이블 표현의 구조적 정보를 효과적으로 활용하기 위함이다.
• BERT의 쌍별 단어 상호작용 지식을 어텐션 가중치를 통해 활용하여 테이블 표현 학습을 향상시키기 위함이다.
• 시퀀스 인코더와 테이블 인코더 간의 상호작용 메커니즘을 설계하여 표현 간 상호 강화를 가능하게 하기 위함이다.
• 이중 인코더 아키텍처가 연합된 NER와 RE에서 단일 인코더 접근 방식보다 우수한 성능을 보임을 입증하기 위함이다.

제안 방법

• NER용 시퀀스 인코더와 RE용 테이블 인코더를 갖춘 이중 인코더 아키텍처를 제안하여 작업별 표현 학습을 가능하게 한다.
• 2차원 테이블 구조를 모델링하기 위해 다차원 순환 신경망(MD-RNNs)을 사용하여 행, 열, 층 간의 상호작용을 포착한다.
• BERT의 자기어텐션 가중치를 활용하여 단어 쌍 간의 상호작용 지식을 테이블 표현에 통합하는 테이블 가이드드 어텐션을 도입한다.
• 인코딩 레이어 간 스킵 연결을 활용하여 학습 안정성을 높이고 표현의 渐진적 정교화를 가능하게 한다.
• 시퀀스 인코더와 테이블 인코더가 서로의 히든 상태를 어텐션하여 특징 학습을 향상시키는 크로스-인코더 상호작용 모듈을 설계한다.
• 스택된 인코더 위에 선형 예측 레이어를 적용하여 최종 예측을 생성하며, 중간 상태를 분석하여 설명 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 서로 다른 인코더를 사용하여 NER와 RE에 대해 별도의 표현을 학습하는 것이 단일 공유 인코더 대비 성능 향상에 기여하는가?
• RQ2 2차원 테이블 표현의 구조적 정보가 연합된 NER와 RE에 얼마나 효과적으로 활용될 수 있는가?
• RQ3 BERT의 어텐션 가중치를 활용하여 연합 추출에서 테이블 표현 학습을 얼마나 효과적으로 향상시킬 수 있는가?
• RQ4 시퀀스 인코더와 테이블 인코더 간의 상호작용이 복잡한 실체 및 관계 패턴의 모델링에 기여하는가?
• RQ5 RNN의 방향성과 차원 수와 같은 아키텍처 선택 사항이 MD-RNN 기반 테이블 인코더의 성능에 미치는 영향은 어떠한가?

주요 결과

• 제안된 모델은 네 가지 표준 데이터셋에서 최신 기술 수준의 F1 스코어를 달성한다: ACE04 (NER: 89.4, RE: 70.2), ACE05 (NER: 89.3, RE: 67.4), CoNLL04 (NER: 89.3, RE: 66.7), ADE (NER: 89.3, RE: 67.4).
• MD-RNN에서 어떤 차원(층, 행, 열)을 제거할 경우 성능 저하가 발생함을 확인하여 다차원 모델링의 중요성을 입증한다.
• 양방향 RNN이 단방향보다 우수하며, 모든 차원에서 양방향인 4방향 RNN(quad-directional RNNs)이 가장 우수한 성능을 기록한다.
• 테이블 가이드드 어텐션 메커니즘은 표준 ALBERT 어텐션 헤드보다 실체 범위와 관계 경로와 같은 작업에 관련된 패턴을 더 잘 학습한다.
• 중간 상태의 시각화 결과는 레이어 간에 점진적으로 예측 성능이 향상됨을 보여주며, 깊은 스택과 스킵 연결을 통한 표현 정교화가 효과적임을 시사한다.
• 이전의 단일 인코더를 사용하는 연합 모델보다 성능이 뛰어나, 별도이지만 상호작용 가능한 표현 학습 방식의 유용성을 입증한다.