[논문 리뷰] Relation Mention Extraction from Noisy Data with Hierarchical Reinforcement Learning

Jun Feng, Minlie Huang외 3명|arXiv (Cornell University)|2018. 11. 03.

Topic Modeling참고 문헌 34인용 수 7

한 줄 요약

이 논문은 약한 감독 하에서 문장이나 언급 어휘에 대한 명시적 애너테이션이 존재하지 않는 노이즈가 많은 문장들로부터 관계 언급을 추출하기 위해 계층적 강화학습(HRL) 모델을 제안한다. 모델은 상위 수준의 문장 선택기로 관련 없는 문장을 걸러내고, 하위 수준의 언급 추출기로 대표적인 어휘를 식별하며, 지연된 보상에 기반한 간접적 지도를 제공하는 보상 추정기로 유도된다. 이로 인해 깨끗한 데이터와 노이즈가 많은 데이터 양쪽에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper we address a task of relation mention extraction from noisy data: extracting representative phrases for a particular relation from noisy sentences that are collected via distant supervision. Despite its significance and value in many downstream applications, this task is less studied on noisy data. The major challenges exists in 1) the lack of annotation on mention phrases, and more severely, 2) handling noisy sentences which do not express a relation at all. To address the two challenges, we formulate the task as a semi-Markov decision process and propose a novel hierarchical reinforcement learning model. Our model consists of a top-level sentence selector to remove noisy sentences, a low-level mention extractor to extract relation mentions, and a reward estimator to provide signals to guide data denoising and mention extraction without explicit annotations. Experimental results show that our model is effective to extract relation mentions from noisy data.

연구 동기 및 목표

• 원거리 감독을 통해 생성된 노이즈가 많은 문장들로부터 대표적인 관계 언급을 추출하는 문제에 대응하기 위해.
• 대규모 관계 추출에서 문장의 관련성과 언급 어휘 식별에 대한 명시적 애너테이션이 부족한 문제를 해결하기 위해.
• 지상 진실 레이블이 아닌 간접적이고 지연된 보상에서 학습하는 약한 지도 학습 방법을 개발하기 위해.
• 다음 단계의 NLP 작업(예: 관계 분류 및 질의 응답)을 위한 관계 언급의 품질과 해석 가능성 향상을 위해.

제안 방법

• 모델는 노이즈가 많은 문장의 집합에서 관련 문장을 선택하는 상위 수준의 에이전트를 사용하는 계층적 강화학습 프레임워크를 채택한다.
• 하위 수준의 에이전트는 선택된 문장에서 특정 관계를 표현하는 어휘를 식별하는 언급 추출을 수행한다.
• 보상 추정기는 정확한 관계 분류 가능성의 정도에 기반해 지연된 보상을 계산하여, 양쪽 에이전트에 대한 간접적 지도를 제공한다.
• 양쪽 수준의 정책 학습은 보상 신호에 의해 유도되며, 문장 노이즈 제거와 언급 추출의 공동 최적화를 가능하게 한다.
• 문장과 어휘 선택에 대한 순차적 의사결정을 모델링하기 위해 준-마르코프 결정 과정으로 프레임워크를 정식화한다.
• 수동 애너테이션이 문장이나 언급 단어에 필요 없이, 정책 기반 방법을 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 명시적 애너테이션이 없는 노이즈가 많은 문장들로부터 의미 있는 관계 언급을 효과적으로 추출할 수 있는 약한 지도 학습 모델은 가능한가?
• RQ2 약한 지도 하에서 계층적 강화학습 아키텍처는 어떻게 문장 필터링과 언급 추출을 공동 최적화할 수 있는가?
• RQ3 제안된 HRL 모델은 노이즈가 많은 데이터에서 대표적인 관계 언급을 추출하는 데 기존 베이스라인을 얼마나 뛰어넘는가?
• RQ4 추출된 관계 언급은 다음 단계의 관계 분류 성능을 향상시킬 수 있는가?

주요 결과

• 깨끗한 데이터에서 HRL 모델은 상위 5개의 추출 언급에 대해 Precision@K가 0.8 초과를 기록하여 StanfordIE와 ATT를 크게 앞서며 성능을 냈다.
• 노이즈가 많은 데이터에서 HRL은 P@10가 0.68로 높은 성능을 유지하며, 베이스라인 대비 급격한 성능 저하를 보이지 않았다.
• 단일 수준 강화학습보다 HRL 모델이 우수한 성능을 보이며, 노이즈가 많은 데이터를 다룰 때 계층적 설계의 효과성을 입증했다.
• 문장 선택기 컴포넌트는 관련 없는 문장을 효과적으로 걸러내어 노이즈가 많은 데이터에서의 성능 향상에 기여했다.
• 추출된 관계 언급은 다음 단계의 관계 분류 성능 향상에 기여했으며, CNN 분류기의 추가 특징으로 사용했을 때 매크로 F1이 82.13을 기록했다.
• 명시적 애너테이션이 없이 지연된 보상에서 학습할 수 있다는 점이 대규모 약한 지도 학습 기반의 관계 언급 추출에 효과적임을 입증했다.