[논문 리뷰] SelfORE: Self-supervised Relational Feature Learning for Open Relation Extraction

Xuming Hu, Chenwei Zhang외 3명|arXiv (Cornell University)|2020. 04. 06.

Topic Modeling참고 문헌 28인용 수 9

한 줄 요약

SelfORE는 사전 학습된 BERT 모델을 사용하여 문맥화된 엔티티 쌍 표현을 생성하고, 적응형 소프트 클러스터링을 통해 자기 지도 학습을 위한 가짜 레이블을 생성하며, 엔드 투 엔드 학습을 통해 반복적으로 특징 품질을 향상시키는 오픈 도메인 관계 추출을 위한 자기 지도 학습 프레임워크를 제안한다. 이 방법은 인간의 레이블링된 관계나 관계 수에 대한 사전 지식이 필요 없이 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Open relation extraction is the task of extracting open-domain relation facts from natural language sentences. Existing works either utilize heuristics or distant-supervised annotations to train a supervised classifier over pre-defined relations, or adopt unsupervised methods with additional assumptions that have less discriminative power. In this work, we proposed a self-supervised framework named SelfORE, which exploits weak, self-supervised signals by leveraging large pretrained language model for adaptive clustering on contextualized relational features, and bootstraps the self-supervised signals by improving contextualized features in relation classification. Experimental results on three datasets show the effectiveness and robustness of SelfORE on open-domain Relation Extraction when comparing with competitive baselines.

연구 동기 및 목표

• 인간의 레이블링된 관계에 대한 의존도를 줄이기 위해 원거리 감독 및 비지도 학습 방법의 한계를 해결하고자 한다.
• 사전 정의된 관계나 알려진 관계 수가 필요 없이 구분 가능한 관계 특징을 학습할 수 있는 자기 지도 학습 프레임워크를 개발하고자 한다.
• 클러스터링에서 유도된 자기 지도 신호를 사용하여 반복적으로 개선된 특징을 통해 관계 표현의 품질을 향상시키고자 한다.
• 관계 유형이 알려져 있지 않고 동적으로 변화하는 오픈 월드 환경에서도 강건하고 효과적인 관계 추출을 가능하게 하고자 한다.

제안 방법

• 문맥화된 관계 인코더는 문장의 맥락을 기반으로 엔티티 쌍 표현을 BERT를 사용해 인코딩한다.
• 적응형 클러스터링은 관계 클러스터에 엔티티 쌍을 소프트 할당하여, 클러스터 수를 사전에 정하지 않더라도 고신뢰도의 가짜 레이블을 생성한다.
• 관계 분류 모듈은 가짜 레이블을 기반으로 학습하여 인코더의 문맥화된 특징을 개선함으로써, 더 나은 표현 학습을 위한 피드백 루프를 형성한다.
• 프레임워크는 인코더와 분류기의 공동 최적화를 통해 반복적으로 클러스터링 품질과 특징 표현을 향상시킨다.
• 자기 지도 신호는 분류 손실을 통해 특징을 개선함으로써, 후속 클러스터링 단계에서의 가짜 레이블 품질을 향상시킨다.
• 표면형 관계 이름은 클러스터 중심점에서 유도되어 모델이 해석 가능한 관계 레이블을 출력할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 자기 지도 학습이 오픈 도메인 관계 추출에서 인간의 레이블링이나 원거리 감독을 효과적으로 대체할 수 있는가?
• RQ2 어떻게 자기 지도 신호를 사용하여 문맥화된 관계 특징을 반복적으로 개선할 수 있는가?
• RQ3 관계 수에 대한 사전 지식이 없이도 적응형 소프트 클러스터링이 관계 클러스터링에 얼마나 기여할 수 있는가?
• RQ4 자기 지도 프레임워크가 기존의 비지도 학습 및 원거리 감독 기반 베이스라인보다 오픈 도메인 관계 추출에서 더 우수한 성능을 내는가?

주요 결과

• SelfORE는 세 가지 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하며, 경쟁적인 베이스라인들을 능가한다.
• 모델은 관계 분포가 다양하고 관계 수가 알려져 있지 않은 데이터셋 간에서도 강건함을 보였다.
• 자기 지도 분류를 통한 반복적 특징 개선이 클러스터링 품질 향상과 관계 식별 능력 향상에 크게 기여한다.
• 적응형 소프트 클러스터링은 전통적인 하드 클러스터링 방법에 비해 클러스터 수에 대한 민감도를 감소시킨다.
• 프레임워크는 클러스터 중심점에서 표면형 관계 이름을 성공적으로 유도하여, 이해 가능한 관계 출력을 가능하게 했다.
• 새로운 관계에 대한 레이블 예측이 전혀 없는 제로샷 설정에서도 모델이 잘 일반화됨을 확인했다.