[논문 리뷰] Exploit Multiple Reference Graphs for Semi-supervised Relation Extraction

Wanli Li, Tieyun Qian|arXiv (Cornell University)|2020. 10. 22.

Topic Modeling참고 문헌 39인용 수 9

한 줄 요약

이 논문은 비정상적인 샘플을 정규화하는 데서 발생하는 신뢰할 수 없는 매핑 함수 문제를 해결하기 위해, 정답 레이블이 부여된 샘플들과 연결되는 엔티티, 동사, 의미 기반 기준 그래프를 구성하는 다중 기준 그래프(MRefG) 모델을 제안한다. 이는 구조적 및 의미적 유사성을 활용하여 관계 예측 성능을 향상시키며, 두 개의 공개 데이터셋에서 최신 기준 모델들을 능가하는 성능을 보이며, 훈련 증강을 위한 고품질의 비정답 샘플을 더 정확하게 식별하는 데 기여한다.

ABSTRACT

Manual annotation of the labeled data for relation extraction is time-consuming and labor-intensive. Semi-supervised methods can offer helping hands for this problem and have aroused great research interests. Existing work focuses on mapping the unlabeled samples to the classes to augment the labeled dataset. However, it is hard to find an overall good mapping function, especially for the samples with complicated syntactic components in one sentence. To tackle this limitation, we propose to build the connection between the unlabeled data and the labeled ones rather than directly mapping the unlabeled samples to the classes. Specifically, we first use three kinds of information to construct reference graphs, including entity reference, verb reference, and semantics reference. The goal is to semantically or lexically connect the unlabeled sample(s) to the labeled one(s). Then, we develop a Multiple Reference Graph (MRefG) model to exploit the reference information for better recognizing high-quality unlabeled samples. The effectiveness of our method is demonstrated by extensive comparison experiments with the state-of-the-art baselines on two public datasets.

연구 동기 및 목표

• 비정상적인 샘플을 관계 클래스에 직접 매핑하는 데서 발생하는 불신뢰할 수 있는 매핑 함수 문제를 해결하기 위해.
• 의미적 및 어휘적 신호를 통해 비정답 샘플과 정답 샘플 간의 연결을 수립하여, 가짜 레이블 데이터의 품질을 향상시키기 위해.
• 수동 규칙 설계나 지식 기반 정렬에 의존하는 것을 줄이기 위해 기준 그래프를 활용하여 샘플 선택을 안내하기 위해.
• 저자원 관계 추출 환경에서 모델의 일반화 능력과 성능을 향상시키기 위해.

제안 방법

• 공유 엔티티, 동사 또는 의미 유사성 기반으로 비정답 샘플을 정답 샘플과 연결하기 위해, 엔티티 기준, 동사 기준, 의미 기준의 세 가지 유형의 기준 그래프를 구축한다.
• 문장 임베딩을 사용하여 잠재 공간 내에서의 근접도를 기반으로 코사인 또는 내적 유사도를 계산하고, 이를 기반으로 기준 그래프 내의 간선을 형성한다.
• 다양한 그래프 유형에서 정보를 통합하여 관계 예측 신뢰도를 향상시키기 위해, 다중 기준 그래프(MRefG) 모델에 기준 그래프를 통합한다.
• 반복적인 준지도 학습을 적용하여, 기준 그래프 신호를 활용해 비정답 세트에서 고신뢰도 예측을 선별하고, 증강된 데이터로 재학습한다.
• 학습 반복 과정 동안 기준 그래프를 정밀하게 조정하여 노이즈를 감소시키고, 선별된 샘플의 품질을 향상시킨다.
• 특히 동사와 엔티티를 핵심 요소로 활용하여 문법적 및 의미적 연결을 수립함으로써, 문장 간의 어휘적 및 의미적 유사성을 강화한다.

실험 결과

연구 질문

• RQ1 엔티티, 동사, 의미 유사성 기반으로 다중 기준 그래프를 구성함으로써, 준지도 관계 추출에서 가짜 레이블 데이터의 품질을 향상시킬 수 있는가?
• RQ2 기준 그래프의 사용이 고신뢰도 비정답 샘플을 식별하는 데 있어 직접 매핑 함수와 비교해 어떤가?
• RQ3 기준 그래프가 문장의 문법적 복잡성과 수식어 간섭의 영향을 어느 정도 완화하는가?
• RQ4 기준 그래프가 모호하거나 복잡한 문장 구조에서 관계 방향성을 올바르게 복구하는 데 도움이 되는가?

주요 결과

• MRefG 모델은 두 개의 공개 데이터셋에서 최신의 지도 및 준지도 기준 모델을 일관되게 능가하며, F1 점수와 정밀도 측면에서 뛰어난 성능을 보였다.
• 학습 후반 단계에서 기준 그래프가 더욱 정교해지고 노이즈가 감소함에 따라, 비정답 샘플을 선별하는 정밀도가 높아졌다.
• 사례 연구 결과, MRefG는 복잡한 문장에서 정확한 관계를 식별하는 데 성공했으며, 예를 들어 S2에서 '엔티티-목적지' 관계, S3에서 '제품-생산자' 관계를 정확히 파악했고, DualRE는 문법적 복잡성으로 인해 실패했다.
• S4에서는 'lead to'를 포함한 훈련 샘플과의 의미적 유사성을 활용하여 관계 방향성을 정확히 포착했고, DualRE는 훈련 데이터의 방향성 패tern에 혼란을 겪었다.
• 동사 및 엔티티 간의 간선을 활용함으로써, 문장의 어순 변형에 대해 일반화 능력을 향상시켜 수식어 간섭에 대한 강건성을 높였다.
• MRefG의 성능 곡선은 학습 후반 단계에서도 계속 향상되며, 기준 그래프 정밀도 향상의 지속적인 이점이 있음을 보여주었다.