[논문 리뷰] Universal Information Extraction as Unified Semantic Matching

Jie Lou, Yaojie Lu외 6명|arXiv (Cornell University)|2023. 01. 09.

Advanced Text Analysis Techniques인용 수 7

한 줄 요약

USM은 보편 정보추출(Universal Information Extraction)을 방향성 토큰 연결을 이용한 통합 의미 매칭으로 재구성하여 스키마와 텍스트를 공동으로 모델링하고, 최첨단 성능과 강력한 제로샷/적은샷 전이를 달성한다.

ABSTRACT

The challenge of information extraction (IE) lies in the diversity of label schemas and the heterogeneity of structures. Traditional methods require task-specific model design and rely heavily on expensive supervision, making them difficult to generalize to new schemas. In this paper, we decouple IE into two basic abilities, structuring and conceptualizing, which are shared by different tasks and schemas. Based on this paradigm, we propose to universally model various IE tasks with Unified Semantic Matching (USM) framework, which introduces three unified token linking operations to model the abilities of structuring and conceptualizing. In this way, USM can jointly encode schema and input text, uniformly extract substructures in parallel, and controllably decode target structures on demand. Empirical evaluation on 4 IE tasks shows that the proposed method achieves state-of-the-art performance under the supervised experiments and shows strong generalization ability in zero/few-shot transfer settings.

연구 동기 및 목표

• 정보추출을 두 가지 핵심 능력인 구조화(structuring)와 구상화(conceptualizing)로 분리하여 서로 다른 스키마 간의 교차 작업 전이를 가능하게 한다.
• 태스크와 레이블 스키마 전반에 걸쳐 추출 기능을 공유하는 단일 프레임워크로 다중 IE 태스크를 통합적으로 모델링한다.
• IE에서 전달성(전이성) 및 일반화를 향상시키기 위해 이질적 감독으로 보편 기초 모델을 사전 학습한다.

제안 방법

• 레이블 스키마를 토큰 시퀀스로 음성화(표현)하고 트랜스포머 인코더를 통해 레이블-텍스트 임베딩을 공동으로 계산한다.
• 세 가지 통합 토큰 연결 연산: Substructures를 구조화하기 위한 Token-Token Linking (TTL); 발화 구상화를 위한 Label-Token Linking (LTL); 구상화와 발화를 매칭하는 Token-Label Linking (TLL).
• 출력 중 스키마별로 타입을 구분하면서 최종 구조를 구성하기 위한 스키마-제약 디코딩.
• 이질적 감독 신호(태스크, 원거리, 간접)를 사용하여 USM을 사전 학습시켜 공유된 구조화 및 구상화 능력을 학습하고, 연결 신호의 극심한 희소성을 처리하기 위해 특수 손실 함수를 사용한다.
• 엔드-투-엔드 비자 autoregressive 추출로 하위구조의 병렬 디코딩과 필요 시 목표 구조를 생성할 수 있다.

Figure 1: The USM framework for UIE. USM takes label schema and text as input and directly outputs the target structure through the Structuring and Conceptualizing operations.

실험 결과

연구 질문

• RQ1 이질적인 레이블 스키마를 가진 IE 태스크를 공유된 구조화 및 구상화 능력을 통해 일관되게 모델링할 수 있는가?
• RQ2 통합 토큰 연결이 제로샷/적은샷 설정을 포함한 태스크 간 및 스키마 간 전이 전반에 걸쳐 효과적으로 작동하는가?
• RQ3 이질적 감독이 보편적 구조화 및 구상화 능력 학습에 미치는 영향은 무엇인가?
• RQ4 스키마-제약 디코딩이 통합 연결 결과에서 최종 IE 구조를 정확하게 조립하는 데 어떻게 기여하는가?

주요 결과

• USM은 감독, 다중 태스크 및 제로-/적은샷 설정에서 엔티티, 관계, 이벤트, 감정 추출에 걸친 13개 데이터세트에서 최첨단 성능을 달성한다.
• 이질적 감독으로의 사전 학습이 태스크 전용 사전 학습보다 개선을 가져와 더 강한 전달성과 일반화를 보여준다.
• 단일 다중태스크 USM 모델(Unify)은 통합 토큰 연결로 대규모 IE 태스크를 해결하고 평균적으로 태스크 특화 SOTA 방법을 능가한다.
• 제로샷 전이가 강한 교차 유형 능력을 보이며, 특정 설정에서 USM이 GPT-3 및 DeepStruct와 같은 베이스라인을 능가한다.
• 적은샷 결과는 USM이 평균 성능에서 UIE-large를 능가함을 시사하며, 기호적 표현보다 음성화된 레이블 의미의 이점을 강조한다.

Figure 2: The overall framework of Unified Semantic Matching.