[논문 리뷰] A Hierarchical Framework for Relation Extraction with Reinforcement Learning

Ryuichi Takanobu, Tianyang Zhang외 2명|arXiv (Cornell University)|2018. 11. 09.

Topic Modeling참고 문헌 26인용 수 16

한 줄 요약

이 논문은 관계를 추론할 때 엔티티를 관계의 인자로 간주하여 관계 타입 검출과 엔티티 추출으로 작업을 계층적으로 분해하는 계층적 강화학습(HRL) 프레임워크를 제안한다. 관계 유형과 엔티티 언급 간의 상호작용을 순차적이고 정책 기반의 하위작업으로 모델링함으로써, 중첩 관계에서 최신 기술 수준의 성능을 달성하였으며, NYT11-plus에서 관계 검출 성능이 기준선 대비 4.9% 향상되었다.

ABSTRACT

Most existing methods determine relation types only after all the entities have been recognized, thus the interaction between relation types and entity mentions is not fully modeled. This paper presents a novel paradigm to deal with relation extraction by regarding the related entities as the arguments of a relation. We apply a hierarchical reinforcement learning (HRL) framework in this paradigm to enhance the interaction between entity mentions and relation types. The whole extraction process is decomposed into a hierarchy of two-level RL policies for relation detection and entity extraction respectively, so that it is more feasible and natural to deal with overlapping relations. Our model was evaluated on public datasets collected via distant supervision, and results show that it gains better performance than existing methods and is more powerful for extracting overlapping relations.

연구 동기 및 목표

• 전통적 방법이 엔티티 인식을 완전히 마친 후에야 관계 유형을 결정하기 때문에 엔티티와 관계 간의 상호작용을 효율적으로 활용하지 못하는 한계를 해결하기 위해.
• 엔티티를 관계의 인자로 간주함으로써 구조적이고 순차적인 프레임워크 내에서 엔티티 언급과 관계 유형 간의 상호작용을 향상시키기 위해.
• 한 개의 엔티티가 여러 관계에 참여하거나 동일한 엔티티 쌍이 여러 관계를 가질 수 있는 중첩 관계를 효과적으로 추출하기 위해 작업을 계층적으로 분해하기 위해.
• 관계 추출과 엔티티 추출을 위한 이중 정책 구조에 강화학습을 통합함으로써 오류 전파를 줄이고 공동 학습 성능을 향상시키기 위해.
• 특히 원거리 감독 환경에서 노이즈가 많은 관계 정렬이 흔한 상황에서도 일반화할 수 있는 더 유연하고 정확한 접근법을 개발하기 위해.

제안 방법

• 이 프레임워크는 이중 수준의 계층적 강화학습(HRL) 아키텍처를 사용한다: 고수준 정책은 관계 지표를 검출하고, 저수준 정책은 인자로 사용되는 엔티티 언급을 추출한다.
• 고수준 RL 에이전트는 문장을 스캔하며, 문맥적 및 의존성 특징을 포함한 상태 표현을 기반으로 관계가 감지되면 저수준 하위작업을 트리거한다.
• 저수준 정책는 정책 네트워크를 사용하여 순차적으로 엔티티를 추출하며, 소스 및 타겟 엔티티의 시작 및 종료 스팬을 예측한다. 보상은 스팬 정확도와 검출된 관계에 대한 정렬 정도에 따라 형성된다.
• 두 정책가 모두 최적의 공동 결정을 유도하기 위해 조밀한, 희소한, 교육과정 기반의 보상 형성 기법을 적용하여 강화학습을 수행한다.
• 두 정책의 상태 표현은 BERT 기반의 문맥 임베딩과 의존성 파싱 특징을 통합하여 문맥 인식 능력을 향상시킨다.
• 프레임워크는 각 검출된 관계를 독립적이고 순차적으로 처리함으로써 중첩 관계를 지원하며, 한 엔티티가 여러 트리플에 포함될 수 있도록 한다.

실험 결과

연구 질문

• RQ1 자동회귀적 또는 공동 태깅 방법에 비해 계층적 강화학습 프레임워크가 엔티티 언급과 관계 유형 간의 상호작용을 더 잘 모델링할 수 있는가?
• RQ2 제안된 HRL 프레임워크는 엔티티가 여러 관계에 참여하는 중첩 관계 추출에 얼마나 효과적인가?
• RQ3 관계 추출을 순차적이고 하위작업 기반으로 분해함으로써 원거리 감독 데이터셋에서 노이즈가 많은 관계를 가진 환경에서 성능 향상이 이루어지는가?
• RQ4 고수준 관계 검출과 저수준 엔티티 추출 간의 상호작용이 전체 F1 성능 향상에 얼마나 기여하는가?
• RQ5 노이즈가 많거나 잘못된 관계 정렬이 흔한 원거리 감독 환경에서도 모델이 일반화 가능한가?

주요 결과

• 제안된 HRL 프레임워크는 최강 기준선 대비 NYT11-plus 데이터셋에서 절대 F1 성능이 4.9% 향상되어 중첩 관계 추출에서 뛰어난 성능을 입증하였다.
• NYT11-plus 데이터셋에서 저수준 엔티티 추출 정책을 제거한 HRL-Ent 모델은 관계 검출 F1 성능에 심각한 하락을 보였으며, 이는 두 작업 간 강한 상호의존성이 있음을 시사한다.
• 모델은 모든 기준선을 압도적으로 능가했으며, 중첩 관계가 더 많이 존재하는 NYT11-plus에서 관계 검출 성능이 5.1% 향상되었다.
• 사례 연구 결과, 동일한 엔티티 쌍(예: Rupert Murdoch가 News Corporation과 company-founder 모두와 관계를 맺는 경우)을 포함하는 다중 관계를 정확히 추출하는 것으로 나타났으며, 장거리 관계(예: Murdoch와 Australia 사이의 관계)도 처리할 수 있었다.
• 모델는 데모닉 엔티티 역할을 동적으로 식별할 수 있었으며, 예를 들어 Rupert Murdoch를 한 관계에서는 소스로, 다른 관계에서는 타겟으로 인식함으로써 계층적 태깅 메커니즘의 유연성을 입증하였다.
• 원거리 감독에서 발생하는 노이즈에도 불구하고, 모델는 복잡하고 중첩된 관계를 높은 정밀도로 검출하는 데 성공하여 약한 감독 환경에 대한 강건성을 보였다.