[논문 리뷰] Improving Distantly-Supervised Relation Extraction through BERT-based Label & Instance Embeddings

Despina Christou, Grigorios Tsoumakas|arXiv (Cornell University)|2021. 02. 01.

Topic Modeling참고 문헌 27인용 수 4

한 줄 요약

REDSandT는 관계 추출을 위한 BERT 기반 모델로, 엔티티 쌍과 그 유형을 연결하는 서브트리에 초점을 맞춘 구조적 입력을 통해 정보성 있는 인스턴스 및 레이블 임베딩을 학습함으로써 원거리 감독된 관계 추출을 향상시킨다. 이 모델은 이러한 RE 전용 입력으로 BERT를 미세조정하고 관계 임베딩을 인스턴스에 대한 어텐션으로 사용함으로써 NYT-10에서 SOTA AUC 0.424를 달성하며, 특히 낮은 빈도의 장꼬리 관계를 더 높은 신뢰도로 탐지하는 데에 앞서서 기존 방법들을 능가한다.

ABSTRACT

Distantly-supervised relation extraction (RE) is an effective method to scale RE to large corpora but suffers from noisy labels. Existing approaches try to alleviate noise through multi-instance learning and by providing additional information, but manage to recognize mainly the top frequent relations, neglecting those in the long-tail. We propose REDSandT (Relation Extraction with Distant Supervision and Transformers), a novel distantly-supervised transformer-based RE method, that manages to capture a wider set of relations through highly informative instance and label embeddings for RE, by exploiting BERT's pre-trained model, and the relationship between labels and entities, respectively. We guide REDSandT to focus solely on relational tokens by fine-tuning BERT on a structured input, including the sub-tree connecting an entity pair and the entities' types. Using the extracted informative vectors, we shape label embeddings, which we also use as attention mechanism over instances to further reduce noise. Finally, we represent sentences by concatenating relation and instance embeddings. Experiments in the NYT-10 dataset show that REDSandT captures a broader set of relations with higher confidence, achieving state-of-the-art AUC (0.424).

연구 동기 및 목표

• 원거리 감독된 관계 추출(DS-RE)에서 노이즈가 많은 레이블, 특히 저빈도의 장꼬리 관계에 대한 도전 과제를 해결하기 위해.
• 구조적이고 RE 전용의 입력 형식을 통해 BERT의 사전 훈련된 지식을 활용하여 모델 성능을 향상시키기 위해.
• 서브트리 파싱(STP)과 엔티티 유형 정보를 통해 관계 토큰에 집중하여 노이즈를 줄이고 표현 학습을 향상시키기 위해.
• 기존 SOTA 모델을 능가하면서도 낮은 계산 복잡도를 유지하는 경량이면서도 효과적인 방법을 개발하기 위해.

제안 방법

• 엔티티 쌍과 그 유형을 연결하는 가장 짧은 의존성 서브트리(STP)와 함께 구조적 입력으로 BERT를 미세조정하여 정보성 있는 인스턴스 임베딩을 생성하기 위해.
• 결과적으로 생성된 BERT 인코딩 벡터를 바탕으로 TransE 모델을 사용해 레이블 임베딩을 형성하여, 관계를 엔티티 임베딩 간의 벡터 차이로 표현하기 위해.
• 학습된 레이블 임베딩을 문장 표현에 대한 관계별 어텐션 메커니즘으로 적용하여 정보성이 떨어지는 토큰을 억제하기 위해.
• 관계 임베딩을 가중치가 부여된 인스턴스 임베딩과 결합하여 백 단위 분류를 위한 최종 문장 표현을 형성하기 위해.
• 모든 문장을 포함하는 백 내의 예측을 가중치 합으로 통합하여 백 단위 분류를 수행하기 위해.
• 아키텍처 변경을 최소화하기 위해 BERT를 최소한의 수정으로 적응시켜 이중적 문맥 이해 능력을 유지하기 위해.

실험 결과

연구 질문

• RQ1 구조적이고 RE 전용의 입력으로 미세조정된 BERT 기반 모델이 원거리 감독 설정에서 관계 추출 성능을 향상시킬 수 있는가?
• RQ2 BERT 인코딩된 벡터에서 유도된 레이블 임베딩이 장꼬리 관계 탐지에 어떤 영향을 미치는가?
• RQ3 서브트리 파싱(STP)을 통해 관계 토큰에 집중함으로써 노이즈를 얼마나 줄이고 효율성을 향상시킬 수 있는가?
• RQ4 레이블 임베딩이 인스턴스에 대한 효과적인 어텐션 메커니즘으로 작용하여 표현 학습을 향상시킬 수 있는가?
• RQ5 제안된 방법이 NYT-10과 같은 표준 벤치마크에서 AUC 및 상위-k 재현율에서 정밀도 측면에서 SOTA 성능을 달성할 수 있는가?

주요 결과

• REDSandT는 NYT-10 데이터셋에서 SOTA AUC 0.424를 달성하여, Vashishth 등(2018)과 Alt 등(2019)에 비해 각각 1.0 및 0.2 단위 높은 성능을 기록했다.
• Alt 등(2019)에 비해 상위 100, 200, 300 예측에서 정밀도가 7~10% 향상되어 높은 재현율에서의 우수한 성능을 보였다.
• REDSandT는 정보성 있는 레이블 및 인스턴스 임베딩을 학습할 수 있는 능력 덕분에 기존 모델이 자주 놓치는 장꼬리 관계를 성공적으로 탐지했다.
• STP 인코딩을 사용함으로써 문법적 구조 정보를 유지하고 관계 중심의 콘텐츠에 집중할 수 있어 낮은 계산 오버헤드로 표현 품질을 향상시켰다.
• BERT의 벡터 공간에서 유도된 레이블 임베딩을 어텐션 메커니즘으로 사용함으로써 문장 내에서 노이즈가 많고 비관계 토큰의 영향을 크게 감소시켰다.
• 엔티티 유형과 STP를 포함한 구조적 입력으로 BERT를 미세조정함으로써 더 강력하고 정보성 있는 문장 표현을 형성하여 종합적인 분류 성능을 향상시켰다.