[논문 리뷰] Distant Supervision for Relation Extraction with Linear Attenuation Simulation and Non-IID Relevance Embedding

Changsen Yuan, Heyan Huang외 3명|arXiv (Cornell University)|2018. 12. 22.

Topic Modeling참고 문헌 26인용 수 6

한 줄 요약

이 논문은 관계 추출을 위한 새로운 원거리 지도 학습 방법을 제안하며, 엔티티로부터의 거리에 따라 단어의 가중치를 조정하기 위해 선형 감쇠 시뮬레이션을 사용하고, 백에 포함된 문장 간의 종속성을 모델링하기 위해 비독립 동일분포(non-IID) 관련성 임베딩을 사용한다. 이 방법은 정보가 많은 단어와 관련성이 높은 문장을 강조함으로써 관계 추출 정확도를 향상시키며, 기준 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

Distant supervision for relation extraction is an efficient method to reduce labor costs and has been widely used to seek novel relational facts in large corpora, which can be identified as a multi-instance multi-label problem. However, existing distant supervision methods suffer from selecting important words in the sentence and extracting valid sentences in the bag. Towards this end, we propose a novel approach to address these problems in this paper. Firstly, we propose a linear attenuation simulation to reflect the importance of words in the sentence with respect to the distances between entities and words. Secondly, we propose a non-independent and identically distributed (non-IID) relevance embedding to capture the relevance of sentences in the bag. Our method can not only capture complex information of words about hidden relations, but also express the mutual information of instances in the bag. Extensive experiments on a benchmark dataset have well-validated the effectiveness of the proposed method.

연구 동기 및 목표

• 엔티티로부터의 거리에 따라 단어의 중요도가 달라지므로, 기존 원거리 지도 학습 방법이 문장 내 모든 단어를 동일하게 중요하게 여긴다는 한계를 해결한다.
• 다중-예외 학습에서 흔히 忽시되는 문장 간 상호의존성을 모델링함으로써, 백 내 문장 간 상관관계를 고려한 독립성 가정을 해소한다.
• 정보가 많은 문장에 초점을 맞추고 잡음이 많거나 관련성이 없는 인스턴스의 영향을 줄임으로써 관계 추출 성능을 향상시킨다.
• 거리 인식 단어 가중치와 문장 수준의 종속성 모델링을 딥 러닝 아키텍처에 통합하여 복잡한 숨겨진 관계를 포착한다.

제안 방법

• 엔티티 쌍으로부터의 거리에 따라 단어의 중요도를 동적으로 감소시키기 위해 선형 감쇠 시뮬레이션을 적용하여, 거리와 관련성 간의 가설을 반영한다.
• 가장 관련성이 높은 문장('최고의 문장')과 다른 문장 간 코사인 유사도를 계산하여 비독립 동일분포(non-IID) 관련성 점수를 산출함으로써, 백 내 문장 간 종속성을 모델링한다.
• 비독립 동일분포 관련성 임베딩을 조각별 컨볼루션 신경망(PCNN) 아키텍처에 통합하여 단어 수준과 문장 수준의 표현을 동시에 학습한다.
• 최고의 문장과 유사도가 높은 문장에 더 높은 주의 가중치를 할당함으로써, 정보가 많은 인스턴스를 강조하고 잡음을 억제한다.
• 각 백에 동일한 엔티티 쌍을 가진 여러 문장이 포함된 다중-예외 다중-라벨 학습 설정을 사용해 모델을 종합적으로 학습한다.
• 각 문장을 독립적으로가 아니라 이웃 문장과의 관계 속에서 모델링함으로써 백의 구조적 정보를 활용하고, 맥락적 및 관계적 종속성을 포착한다.

실험 결과

연구 질문

• RQ1 엔티티로부터의 거리가 관련성과 연관되므로, 단어 중요도를 얼마나 현실적으로 모델링할 수 있는가?
• RQ2 문장 수준의 종속성을 모델링함으로써 원거리 지도 학습에서 관계 추출 성능을 얼마나 향상시킬 수 있는가?
• RQ3 비독립 동일분포 문장 표현은 백 내 문장 간 상호 정보를 효과적으로 포착할 수 있는가? 이는 더 나은 레이블 예측으로 이어지는가?
• RQ4 거리 인식 단어 가중치와 문장 수준의 관련성 모델링을 결합하면 기존 원거리 지도 학습 기준 모델에 비해 유의미한 성능 향상을 이룰 수 있는가?

주요 결과

• 제안된 방법은 기존 최첨단 방법들에 비해 널리 사용되는 기준 데이터셋에서 관계 추출 성능을 크게 향상시켰다.
• 선형 감쇠 시뮬레이션은 엔티티로부터 먼 단어에 낮은 가중치를 할당하여 원거리 또는 관련성이 없는 단어의 영향을 효과적으로 줄였다.
• 비독립 동일분포 관련성 임베딩은 최고의 문장과의 유사도를 측정함으로써 백 내 가장 정보가 많은 문장을 성공적으로 식별하고 강조했다.
• 두 기법의 통합은 특히 잡음이 많거나 긴 문장 처리에 유리한 더 견고하고 정확한 관계 분류 모델을 만들어냈다.
• 모델은 문장 내 및 문장 간 종속성을 활용함으로써 숨겨진 관계를 더 잘 포착하는 것으로 나타났다.
• 실험 결과는 원거리 지도 학습에서 잘못된 레이블의 영향을 줄여주며, 특히 긴 또는 복잡한 문장에서 유의미한 개선을 이룬다는 점을 확인했다.