[논문 리뷰] Reinforcement Learning for Relation Classification from Noisy Data

Jun Feng, Minlie Huang외 3명|arXiv (Cornell University)|2018. 08. 24.

Text and Document Classification Technologies인용 수 183

한 줄 요약

이 논문은 노이즈가 있는 distant supervision 데이터에서 관계 분류를 수행하기 위해 두 모듈 모델(강화학습을 통한 인스턴스 선택자와 문장 수준 관계 분류기)을 제안하여 강력한 baselines보다 문장 수준 성능이 우수하다.

ABSTRACT

Existing relation classification methods that rely on distant supervision assume that a bag of sentences mentioning an entity pair are all describing a relation for the entity pair. Such methods, performing classification at the bag level, cannot identify the mapping between a relation and a sentence, and largely suffers from the noisy labeling problem. In this paper, we propose a novel model for relation classification at the sentence level from noisy data. The model has two modules: an instance selector and a relation classifier. The instance selector chooses high-quality sentences with reinforcement learning and feeds the selected sentences into the relation classifier, and the relation classifier makes sentence level prediction and provides rewards to the instance selector. The two modules are trained jointly to optimize the instance selection and relation classification processes. Experiment results show that our model can deal with the noise of data effectively and obtains better performance for relation classification at the sentence level.

연구 동기 및 목표

• bag 수준에서 문장 수준 예측으로 이동하여 관계 추출의 노이즈 라벨링 문제를 해결한다.
• 분류 전에 노이즈 문장을 filtering하기 위해 강화학습으로 학습된 인스턴스 선택자를 도입한다.
• 인스턴스 선택자와 CNN 기반 관계 분류기를 공동 학습시켜 문장 수준 정확도와 노이즈에 대한 강인성을 극대화한다.
• 모든 문장이 노이즈인 Bags를 필터링하는 능력과 문장 수준 예측의 효과를 보여준다.

제안 방법

• 현재 문장, 선택된 문장 집합, 엔티티 페어를 결합한 상태 표현으로 인스턴스 선택을 강화학습 문제로 공식화한다.
• 관계 분류기의 가능도에 기반한 최종 보상을 이용하여 각 문장을 선택할지 결정하는 정책 네트워크를 사용한다.
• 단일 문장에 대해 단어 임베딩과 위치 임베딩을 사용하여 p(r|x;Φ)를 예측하는 CNN 기반 관계 분류기를 채택한다.
• 각 bag의 끝에서 지연 보상을 정의하여 선택된 문장의 품질을 최적화하고, 공동 학습 전에 사전 학습한다.
• 학습 안정화를 위해 타깃 네트워크를 포함한 정책 기울기(REINFORCE)로 학습한다.
• 데이터를 엔티티 페어별로 bag로 분할하고 bag 수준에서 보상을 평가한 뒤, CNN 학습을 위해 선택된 문장을 병합한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 distant supervision 데이터에서 문장 수준 관계 분류를 효과적으로 학습할 수 있는가?
• RQ2 RL 기반 인스턴스 선택자가 문장 수준 CNN 관계 분류기의 학습 데이터 품질을 향상시키는가?
• RQ3 이 작업에서 인스턴스 선택자와 관계 분류기의 공동 학습이 bag 수준 기반 대안보다 더 효과적인가?
• RQ4 모델이 모든 문장이 노이즈인 bag를 처리하고 필터링할 수 있는가?
• RQ5 RL 기반 접근법이 그리디 또는 어텐션 기반 인스턴스 선택 방법과 어떻게 비교되는가?

주요 결과

• CNN+RL은 문장 수준 관계 분류에서 CNN, CNN+Max, CNN+ATT를 능가한다.
• RL 기반 인스턴스 선택자가 선택한 데이터로 학습하는 것이 원래의 노이즈 데이터로 학습하는 것보다 성능이 더 좋다.
• 문장 수준 모델이 문장 수준 예측에서 bag 수준 모델보다 우수하다.
• 인스턴스 선택자는 모든 문장이 노이즈인 bag를 필터링할 수 있다(높은 노이즈 bag 필터링 능력).
• 수동 점검에 따르면 선택기가 샘플 문장에서 74% 정확도를 달성한다(적절한 선택과 거부).
• 이 설정에서 RL 기반 선택은 그리디 선택을 크게 능가한다.