[논문 리뷰] RH-Net: Improving Neural Relation Extraction via Reinforcement Learning and Hierarchical Relational Searching

Jianing Wang|arXiv (Cornell University)|2020. 10. 27.

Topic Modeling참고 문헌 21인용 수 4

한 줄 요약

RH-Net는 강화학습을 통한 고품질 인스턴스 선택과 데이터가 풍부한 관계에서 데이터가 부족한 관계로의 의미 전달을 가능하게 하는 계층적 관계 검색 모듈을 통합하여, 원거리 지도학습 기반 관계 추출에서 노이즈 있는 레이블링과 장기간 분포 문제를 동시에 해결하는 새로운 프레임워크를 제안한다. 두 모듈 간의 반복적 상호작용을 통해 NYT 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Distant supervision (DS) aims to generate large-scale heuristic labeling corpus, which is widely used for neural relation extraction currently. However, it heavily suffers from noisy labeling and long-tail distributions problem. Many advanced approaches usually separately address two problems, which ignore their mutual interactions. In this paper, we propose a novel framework named RH-Net, which utilizes Reinforcement learning and Hierarchical relational searching module to improve relation extraction. We leverage reinforcement learning to instruct the model to select high-quality instances. We then propose the hierarchical relational searching module to share the semantics from correlative instances between data-rich and data-poor classes. During the iterative process, the two modules keep interacting to alleviate the noisy and long-tail problem simultaneously. Extensive experiments on widely used NYT data set clearly show that our method significant improvements over state-of-the-art baselines.

연구 동기 및 목표

• 원거리 지도학습 기반 관계 추출에서 노이즈 있는 레이블링과 장기간 분포 문제의 이중 과제를 해결하기 위해.
• 노이즈 있는 인스턴스 필터링과 데이터가 풍부한 관계에서 데이터가 부족한 관계로의 의미 전달을 동시에 최적화하기 위해.
• 저자원 관계 클래스에서의 모델 일반화 능력과 성능 향상을 위해.
• 관계 유형 간 관련된 의미를 공유할 수 있는 트리 탐색 기반의 계층적 관계 검색 메커니즘을 개발하기 위해.
• 암묵적 관계 정보를 통합한 강화학습 에이전트를 설계하여 더 나은 인스턴스 선택 능력을 향상시키기 위해.

제안 방법

• 강화학습을 사용하여 관계 백에 속한 인스턴스를 정확한 집합과 노이즈가 있는 집합으로 분할하는 에이전트를 훈련시키며, 하류 학습에만 고품질 인스턴스를 선택한다.
• 계층적 관계 검색 모듈은 관계 추출을 루트에서 리프 노드로 향하는 사전 정의된 관계 계층에서의 트리 탐색 작업으로 간주한다.
• 각 노드에서 관련 인스턴스의 의미를 결합하는 게이팅 메커니즘이 의미 전달을 가능하게 하여 데이터가 풍부한 관계에서 데이터가 부족한 관계로 지식을 전이한다.
• 계층적 트리의 각 레이어에서의 기여도를 균형 있게 유지하기 위해 가중치 합 손실 함수를 도입하여 훈련 안정성을 향상시킨다.
• 암묵적 관계 정보를 강화학습 에이전트의 보상 함수에 통합하여 의미적으로 관련된 인스턴스를 더 잘 탐지할 수 있도록 한다.
• 강화학습 모듈과 계층적 검색 모듈 간에 훈련 중 반복적으로 상호작용하여 노이즈와 장기간 문제를 동시에 완화한다.

실험 결과

연구 질문

• RQ1 암묵적 관계 감독을 통한 강화학습이 원거리 지도학습에서 고품질 학습 인스턴스 선택에 기여하는가?
• RQ2 트리 구조적 관계 계층에서 데이터가 풍부한 관계에서 데이터가 부족한 관계로 의미 전달을 효과적으로 수행할 수 있는가?
• RQ3 노이즈 있는 인스턴스 필터링과 의미 공유 간의 상호작용이 장기간 관계에 대한 성능 향상에 기여하는가?
• RQ4 게이팅 메커니즘과 가중치 손실 함수의 통합이 모델의 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 RH-Net가 NYT 벤치마크에서 기존 최신 기술 수준의 방법들을 얼마나 뛰어넘는가?

주요 결과

• RH-Net는 NYT 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 전체 및 장기간 관계 추출 모두에서 기존 최신 기술 수준 방법들을 능가한다.
• PCNN 기반 RH-Net 모델는 CNN 기반 변종보다 높은 성능을 보이며, 장기간 관계에 대해 조각별 특징 표현의 중요성을 시사한다.
• 게이팅 메커니즘을 제거하면 P@N가 10% 이상 감소하여 HRS 모듈이 단순 어텐션 메커니즘보다 성능 향상에 뚜렷한 기여를 한다.
• 강화학습 에이전트에서 암묵적 관계 신호를 제거하면 평균 P@N가 2.10% 감소하여 관련 인스턴스 식별에 있어 그 가치를 입증한다.
• 가중치 손실 함수의 제거로 평균 P@N가 7.30% 감소하여 훈련 안정성 향상에 기여하는 것으로 확인된다.
• 사례 연구를 통해 모델이 장기간 관계에 대해 정확한 인스턴스를 성공적으로 식별하고 노이즈 문장을 필터링하는 것으로 확인되었지만, 극도로 자원이 부족한 관계에서는 데이터 부족으로 성능 저하가 발생한다.