[논문 리뷰] Contrastive Triple Extraction with Generative Transformer

Hongbin Ye, Ningyu Zhang외 5명|arXiv (Cornell University)|2020. 09. 14.

Topic Modeling인용 수 25

한 줄 요약

이 논문은 개방형 정보 추출에서 신뢰성과 장문 문장 성능을 향상시키기 위해 생성형 트랜스포머를 활용한 대비 삼중항 추출(CGT)을 제안한다. 삼중항 대비 학습, 배치 기반 동적 어텐션 마스킹, 삼중항별 校정을 통합함으로써, CGT는 NYT, WebNLG, MIE 데이터셋에서 강력한 기준 모델을 능가하며, 특히 RNN 기반 모델이 실패하는 장문 문장에서 뛰어난 성능을 보인다.

ABSTRACT

Triple extraction is an essential task in information extraction for natural language processing and knowledge graph construction. In this paper, we revisit the end-to-end triple extraction task for sequence generation. Since generative triple extraction may struggle to capture long-term dependencies and generate unfaithful triples, we introduce a novel model, contrastive triple extraction with a generative transformer. Specifically, we introduce a single shared transformer module for encoder-decoder-based generation. To generate faithful results, we propose a novel triplet contrastive training object. Moreover, we introduce two mechanisms to further improve model performance (i.e., batch-wise dynamic attention-masking and triple-wise calibration). Experimental results on three datasets (i.e., NYT, WebNLG, and MIE) show that our approach achieves better performance than that of baselines.

연구 동기 및 목표

• 기존의 종단 간 삼중항 추출 모델의 한계, 특히 장기적 의존성의 포착 부족과 부정확한 삼중항 생성 문제를 해결하기 위해.
• 황금 표준(골드) 삼중항과 위조된 삼중항 인스턴스를 사용한 새로운 대비 학습 목표를 도입하여 생성된 삼중항의 신뢰성을 향상시키기 위해.
• 동적 어텐션 마스킹을 통한 생성 및 대비 목표의 공동 최적화를 통해 모델 성능을 향상시키기 위해.
• 추론 중 환각되거나 잘못된 삼중항을 줄이기 위해 삼중항별 校정 기반 메커니즘을 도입하기 위해.
• 다양한 문장 길이를 가진 벤치마크 데이터셋에서 제안된 프레임워크의 유효성을 입증하기 위해.

제안 방법

• 입력 및 타겟 시퀀스를 특수 토큰으로 분리하여 연결한 단일 공유 트랜스포머 인코더-디코더 아키텍처를 사용한다.
• 추가 파rameter 없이도 인코더와 디코더 표현을 구분하기 위해 부분적 인과 마스킹을 적용한다.
• 황금 표준 삼중항을 양성 샘플로, 무작위로 손상된 삼중항을 부정성 샘플로 간주하는 삼중항 대비 학습 목표를 도입한다.
• 배치 기반 동적 어텐션 마스킹을 통해 동적으로 학습 타겟을 선택함으로써 생성 및 대비 목표의 공동 최적화를 가능하게 한다.
• 추론 중에 저신뢰도 또는 일관성 없는 삼중항을 필터링하여 신뢰성을 향상시키기 위해 삼중항별 校정 알고리즘을 적용한다.
• 기본 모델 외에 추가 파rameter 없이 사전 학습된 T5 스타일 모델을 종단 간으로 미세조정한다.

실험 결과

연구 질문

• RQ1 대비 학습이 종단 간 삼중항 추출에서 생성된 삼중항의 신뢰성 향상에 기여하는가?
• RQ2 제안된 CGT 모델이 장문 입력 시퀀스에서 RNN 기반 모델보다 더 나은 장기적 의존성 포착 능력을 가지는가?
• RQ3 동적 어텐션 마스킹을 통한 공동 최적화가 생성 및 대비 목표 양쪽의 성능 향상에 기여하는가?
• RQ4 삼중항별 校정이 추론 중 환각되거나 잘못된 삼중항을 얼마나 효과적으로 줄이는가?
• RQ5 제안된 아키텍처가 다양한 벤치마크 데이터셋, 특히 장문 및 복잡한 문장에서 강력한 기준 모델을 능가하는가?

주요 결과

• CGT는 NYT, WebNLG, MIE 세 가지 벤치마크 데이터셋에서 최고 성능을 기록하며, CopyRE 및 CopyMTL와 같은 강력한 기준 모델을 능가한다.
• 장문 문장(길이 > 60)에서는 CGT가 우수한 성능을 유지하는 반면, CopyRE는 성능 저하가 심각하여 더 나은 장문 컨텍스트 모델링 능력을 보여준다.
• 제거 실험을 통해 삼중항 대비 학습과 동적 어텐션 마스킹이 성능 향상에 기여한다는 것이 확인되었다.
• 무작위 초기화 상태에서도 CGT(Random)가 생성 기반 기준 모델을 능가함으로써, 성능 향상 요인이 사전 학습 외에 아키텍처와 학습 목표에 기인함을 시사한다.
• 오류 분석 결과, 주요 실패 원인은 모호한 맥락, 잘못된 엔티티 경계, 노이즈가 많은 데이터셋(특히 WebNLG)으로, 향후 연구 분야로 지목된다.
• 대비 목표와 校정 단계 덕분에 복잡하거나 겹치는 엔티티가 있는 경우에도 정확한 관계 추론 능력이 뛰어나 강건성을 보였다.