[논문 리뷰] Heterogeneous Supervision for Relation Extraction: A Representation Learning Approach

Liyuan Liu, Xiang Ren외 5명|arXiv (Cornell University)|2017. 07. 01.

Topic Modeling참고 문헌 31인용 수 19

한 줄 요약

이 논문은 지식 기반 및 도메인 히우리스틱과 같은 다양한 출처에서 유래한 이질적 지도 하에 관계 추출과 진짜 레이블 발견을 동시에 수행하는 새로운 표현 학습 프레임워크인 REHession을 제안한다. 문맥 인식 임베딩을 활용해 레이블링 함수의 전문성 집합을 식별하고 반복적으로 표현과 레이블을 개선함으로써, REHession은 기준 데이터셋에서 최신 기술을 능가하는 성능을 보이며, 노이즈가 많고 충돌이 발생하는 지도 학습 환경에서도 뛰어난 성능을 보인다.

ABSTRACT

Relation extraction is a fundamental task in information extraction. Most existing methods have heavy reliance on annotations labeled by human experts, which are costly and time-consuming. To overcome this drawback, we propose a novel framework, REHession, to conduct relation extractor learning using annotations from heterogeneous information source, e.g., knowledge base and domain heuristics. These annotations, referred as heterogeneous supervision, often conflict with each other, which brings a new challenge to the original relation extraction task: how to infer the true label from noisy labels for a given instance. Identifying context information as the backbone of both relation extraction and true label discovery, we adopt embedding techniques to learn the distributed representations of context, which bridges all components with mutual enhancement in an iterative fashion. Extensive experimental results demonstrate the superiority of REHession over the state-of-the-art.

연구 동기 및 목표

• 지식 기반 및 도메인 특화 히우리스틱과 같은 다양한 출처에서 유래한 이질적 지도 학습을 활용하여 관계 추출에서 인간 레이블링 데이터의 높은 비용과 부족 문제를 해결한다.
• 다양한 출처에서 유래한 노이즈가 많고 일관성 없는 레이블 간의 갈등을 해결하기 위해 레이블링 함수의 문맥 기반 전문성 집합을 식별한다.
• 공유된 문맥 표현을 통해 상호 보완적으로 작용하는 관계 추출과 진짜 레이블 발견을 공동 최적화한다.
• 이전의 진짜 레이블 발견 방법에서의 자료 일관성 가정의 한계를 극복하기 위해, 다양한 문맥 유형에서 레이블링 함수의 가용성에 따라 가변적인 신뢰도를 모델링한다.
• 종합적인 표현 학습을 통해 자원이 적거나 도메인 특화된 관계 추출 환경에서의 일반화 능력과 성능을 향상시킨다.

제안 방법

• 관계 언급어와 그 문맥을 저차원 벡터 공간에 표현 학습함으로써 의미 유사도를 포착하고, 문맥 인식 분석을 가능하게 하는 분산 표현 학습 기법을 적용한다.
• 레이블링 함수는 전반적으로 신뢰할 수 없다고 간주하지만, 특정 문맥 기반 하위집합(전문성 집합)에서는 신뢰할 수 있다고 가정하며, 이는 임베딩 유사도를 통해 식별된다.
• 공동 학습 과정을 통해 상호 지도를 활용하여 반복적으로 문맥 표현, 진짜 레이블 추론, 관계 분류를 개선한다.
• 레이블링 함수의 성능을 전문성 집합에서 평가하여 신뢰도 점수를 계산하고, 이에 기반해 지도 신호의 동적 가중치를 설정한다.
• 개선된 문맥 표현이 진짜 레이블 발견과 관계 추출을 동시에 향상시키고, 그 반대도 성립하는 반복 최적화 루프를 사용한다.
• 지식 기반 및 히우리스틱 패턴과 같은 다수의 지도 출처를 통합하지만, 모든 인스턴스에 대해 동일한 신뢰도를 가정하지 않는다.

실험 결과

연구 질문

• RQ1 지식 기반 및 도메인 히우리스틱과 같은 다양한 출처에서 유래한 이질적 지도 학습을 관계 추출에 효과적으로 활용할 수 있는가?
• RQ2 전역적인 자료 일관성 가정 없이 노이즈가 많고 일관성 없는 레이블링 함수 간의 갈등을 어떻게 해결할 수 있는가?
• RQ3 문맥 인식 표현은 레이블링 함수의 전문성 집합 식별과 진짜 레이블 발견 향상에 기여하는가?
• RQ4 관계 추출과 진짜 레이블 발견을 공동으로 학습하는 것이 별도로 학습하는 것보다 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 프레임워크는 자원이 적거나 도메인 특화된 관계 추출 환경에서 최신 기술을 능가하는가?

주요 결과

• REHession은 기준 데이터셋에서 최신 기술을 능가하는 성능을 달성하여, 관계 추출 및 관계 분류 작업 모두에서 뛰어난 성능을 보였다.
• 최상의 베이스라인 대비 NYT 데이터셋에서 F1 점수를 최대 0.055 향상시키고, ACE05 데이터셋에서는 0.048 향상시켰다.
• 문맥 인식 임베딩의 사용은 레이블링 함수의 전문성 집합을 정확하게 식별할 수 있게 하여 신뢰할 수 있는 레이블 추론에 핵심적인 역할을 한다.
• 문맥 표현, 진짜 레이블 발견, 관계 추출 간의 반복적 상호 보완적 향상은 다양한 데이터셋에서 일관된 성능 향상을 이끌어냈다.
• 노이즈가 많은 지도 학습 환경에서도 뛰어난 강인성을 보이며, 레이블링 함수가 일관되지 않거나 일부 잘못되었을 경우에도 뛰어난 성능을 유지했다.
• 제거 실험 결과, 문맥 인식 전문성 탐지와 공동 학습이 필수적인 구성 요소임을 확인하였으며, 이 중 하나를 제거할 경우 성능이 크게 떨어졌다.