[논문 리뷰] Prototypical Representation Learning for Relation Extraction

Ning Ding, Xiaobin Wang외 8명|arXiv (Cornell University)|2021. 03. 22.

Topic Modeling참고 문헌 68인용 수 38

한 줄 요약

이 논문은 멀리 라벨된 데이터로 관계 프로토타입과 진술 인코딩을 학습하는 관계 추출을 위한 프로토타입 표현 학습 프레임워크를 제시하고, 진술-진술 및 프로토타입-진술 목표를 최적화하여 감독 학습, 소수 샷, 제로 샷 설정에서 강인성, 해석 가능성 및 성능을 향상시킵니다.

ABSTRACT

Recognizing relations between entities is a pivotal task of relational learning. Learning relation representations from distantly-labeled datasets is difficult because of the abundant label noise and complicated expressions in human language. This paper aims to learn predictive, interpretable, and robust relation representations from distantly-labeled data that are effective in different settings, including supervised, distantly supervised, and few-shot learning. Instead of solely relying on the supervision from noisy labels, we propose to learn prototypes for each relation from contextual information to best explore the intrinsic semantics of relations. Prototypes are representations in the feature space abstracting the essential semantics of relations between entities in sentences. We learn prototypes based on objectives with clear geometric interpretation, where the prototypes are unit vectors uniformly dispersed in a unit ball, and statement embeddings are centered at the end of their corresponding prototype vectors on the surface of the ball. This approach allows us to learn meaningful, interpretable prototypes for the final classification. Results on several relation learning tasks show that our model significantly outperforms the previous state-of-the-art models. We further demonstrate the robustness of the encoder and the interpretability of prototypes with extensive experiments.

연구 동기 및 목표

• 노이즈가 있는 멀리 라벨링된 데이터에서 강건한 관계 표현 학습의 동기를 부여합니다.
• 각 관계에 대해 필수 의미를 포착하는 프로토타입을 제안합니다.
• intra-class 응집력 및 inter-class 분리를 강제하는 기하학적 아이디어를 개발합니다.
• 대규모 멀리 라벨링 데이터에서 프리트레이닝을 수행하고 대상 작업에서 미세 조정합니다.
• 감독, 소수 샷 및 흐릿한 평가 설정 전반에 걸쳐 향상된 성능과 해석 가능성을 입증합니다.

제안 방법

• 관계를 단위 면의 벡터로 정의하고 진술을 프로토타입 표면 근처에 중심화된 단위 벡터로 간주합니다.
• 정규화된 임베딩(단위 구에서의 각도)을 기반으로 한 기하학 기반 유사도 측정치 d(s_i,s_j) 및 d(s,z)를 사용합니다.
• 진술-진술 손실 L_S2S를 도입하여 intra-class 응집력과 inter-class 분리를 촉진합니다.
• 진술-프로토타입 손실 L_S2Z 및 L_S2Z'를 도입하여 진술이 자신의 프로토타입 근처에 모이고 다른 프로토타입과는 멀리 떨어지도록 강제합니다.
• 프로토타입을 라벨 정규화된 중심으로 정규화하는 프로토타입 수준의 분류기 손실 L_CLS를 포함합니다.
• 손실들을 하이퍼파라미터로 결합하여 전체 목적 함수 L = λ1 L_S2S + λ2 (L_S2Z + L_S2Z') + λ3 L_CLS를 형성합니다.
• 사전 학습-미세 조정 프래그럼을 채택하여 멀리 라벨링된 데이터에서 사전 학습하고 감독 및 소수 샷 설정에서 미세 조정합니다.
• 감독 RE(SemEval 2010 Task 8), 소수 샷(FewRel), 제안된 흐릿한 관계 데이터셋(FuzzyRED)에서 평가합니다.
• 인코더를 BERT-base로 설정하고 트랜스포머 기반 관계 인코더 및 프로토타입 기반 목표를 사용합니다; Wikidata-Wikipedia에서 정렬된 약 0.86M개의 멀리 라벨링 진술을 사전 학습한 후 미세 조정합니다.

실험 결과

연구 질문

• RQ1 멀리 라벨링된 데이터로 학습된 프로토타입 표현이 감독 학습 설정에 관계없이 강건하고 해석 가능한 관계 표현을 생성할 수 있습니까?
• RQ2 프로토타입 중심 손실이 관계 추출에서 일반적인 교차 엔트로피와 비교하여 intra-class 응집력과 inter-class 분리를 개선합니까?
• RQ3 사전 학습된 프로토타입 인코더가 감독, 소수 샷, 제로 샷 관계 학습 작업으로 얼마나 잘 전달됩니까?
• RQ4 기하학적 프로토타입 시각화 및 탐색 데이터셋(FuzzyRED)을 통한 관계 클러스터의 해석 가능성을 지원합니까?

주요 결과

• 감독, 소수 샷 및 제로 샷 설정에서 최첨단 기준선 대비 유의미한 성능 향상을 보였습니다.
• 프로토타입은 단위 구의 단위 벡터로 학습 가능하며 진술은 프로토타입 방향 주위에 클러스터링되고 기하학적 기반 손실로 해석 가능한 클러스터를 생성합니다.
• 프로토타입 수준의 정규화는 노이즈가 있는 레이블하에서도 결정 경계 왜곡을 줄이고 멀리서 제공된 감독 시나리오에서 강인성을 향상시킵니다.
• 모델은 FewRel에서 5-way/1-shot 및 10-way/1-shot 태스크에서 강력한 성과를 보이며 일부 구성에서 인간 성능에 근접하거나 이를 상회합니다.
• FuzzyRED 평가에서 사전 학습된 인코더가 멀리 라벨 기준선보다 뛰어나며, COL(결합 손실)이 레이블 노이즈에 대한 가장 높은 강인성을 제공합니다.