[논문 리뷰] Rewarding Coreference Resolvers for Being Consistent with World Knowledge

Rahul Aralikatte, Heather Lent외 6명|arXiv (Cornell University)|2019. 09. 05.

Software System Performance and Reliability참고 문헌 26인용 수 5

한 줄 요약

이 논문은 지식 기반(예: Wikidata)의 세계 지식과 일관된 관계 삼중항을 생성하도록 모델을 보상하는 방식으로 공명 해결을 향상시키는 다중 작업 강화 학습 프레임워크를 제안한다. 개방형 관계 추출기와 Universal Schema 보상 모델을 통합하여 사실 일관성을 최적화함으로써, 온톨로지노트스 및 위키코어프에서 최신 기술 수준의 F1 스코어를 달성하였으며, 지식 기반으로부터 간접적인 지도 학습을 통해 지도 학습 기반 모델을 능가한다.

ABSTRACT

Unresolved coreference is a bottleneck for relation extraction, and high-quality coreference resolvers may produce an output that makes it a lot easier to extract knowledge triples. We show how to improve coreference resolvers by forwarding their input to a relation extraction system and reward the resolvers for producing triples that are found in knowledge bases. Since relation extraction systems can rely on different forms of supervision and be biased in different ways, we obtain the best performance, improving over the state of the art, using multi-task reinforcement learning.

연구 동기 및 목표

• 고품질의 공명 주석이 부족한 데이터 문제를 해결하기 위해 지식 기반의 세계 지식을 보조 신호로 활용한다.
• 훈련 데이터에서 흔히 공시되지 않는 이름-이름 공용성(예: '플로리다'와 '선샤인 스테이트')로 인한 공명 오류를 줄이기 위해 노력한다.
• 공명 해결기를 훈련시켜 관계 추출 시스템에 통과했을 때 사실적으로 일관된 삼중항을 생성하도록 유도함으로써 공명 해결 성능을 향상시킨다.
• 외부 지식 기반과의 일관성이 종합적인 학습을 위한 강력하고 확장 가능한 신호로 기능할 수 있는지 탐색한다.

제안 방법

• 신경 공명 해결기가 위키백과 문서에서 언급의 전치적 예측을 생성한다.
• 각 해석된 문서는 개방형 관계 추출(OpenRE) 시스템을 통해 주어-관계-목적어(SRO) 삼중항을 생성한다.
• 공명하는 언급을 포함하는 삼중항은 Wikidata(예: RE-KG), 위키백과 공시(예: RE-Text), 또는 통합 신호(예: RE-Joint)에 기반한 Universal Schema 모델을 사용해 점수를 매긴다. 이 점수는 보상으로 사용된다.
• 보상은 최근 100개의 에피소드를 기준으로 이동 평균 윈도우를 적용한 정규화된 개별 삼중항 점수의 합으로 계산되며, 학습 안정성을 높인다.
• 정책 그래เดียน트 강화 학습을 사용해 보상 신호를 기반으로 공명 해결기를 보정하며, 10% 확률로 무작위 행동 선택을 통해 탐색을 수행한다.
• 다중 작업 훈련은 모델 정밀도를 통해 세 가지 보상 함수(RE-KG, RE-Text, RE-Joint)를 통합하여 통합적이고 견고한 보상 신호를 생성한다.

실험 결과

연구 질문

• RQ1 지식 기반의 세계 지식과의 일관성이 공명 해결에 효과적이고 확장 가능한 지도 신호로 기능할 수 있는가?
• RQ2 관계 추출을 통한 사실 일관성 통합이 단순히 지도 학습에 비해 공명 해결 성능을 얼마나 향상시키는가?
• RQ3 지식 기반, 텍스트 공시, 통합 신호 등 상호 보완적인 보상 신호를 사용한 다중 작업 강화 학습이 단일 소스 보상보다 더 나은 일반화 성능을 내는가?
• RQ4 특히 '선샤인 스테이트'와 '플로리다'와 같은 모호하거나 드문 이름 변형을 포함한 공명 체인에서 오류가 얼마나 감소하는가?
• RQ5 모델이 실체가 아닌 명사구(예: '이 시도'와 같은 행동형 명사구)를 사실 일관성 향상 방향으로 연결하는 데 성공하는가. 이는 임의의 연결을 유도할 수는 있지만?

주요 결과

• 제안된 방법은 온톨로지노트스 데이터셋에서 최신 기술 수준의 성능을 달성하여 지도 학습 기반 모델 대비 F1 스코어를 0.78 포인트 향상시켰다(75.62 vs. 73.80).
• 위키코어프 데이터셋에서도 새로운 최고 기록 F1 스코어를 기록하여 온톨로지노트스를 넘어서 일반화 능력을 입증했다.
• 개선된 세계 지식 통합 덕분에 이전에 놓쳤던 실체들(예: '남반구', '케임브리지', '옥스포드')을 더 많이 식별했다.
• 행동형 명사구(예: '이 시도' → '해방')를 공명 연결하는 경향이 있어 정밀도는 높아졌지만 재현율은 약간 감소했다.
• 재현율이 다소 감소했음에도 불구하고(70.75 vs. 71.34), 정밀도가 크게 향상되어 전체 F1 향상이 뚜렷했으며, 이는 더 나은 사실 일관성 반영을 의미한다.
• 다중 작업 보상 전략(RE-Joint)이 개별 보상 함수를 능가했으며, 지식 기반과 텍스트 공시 신호를 통합함으로써 견고성과 성능 향상이 향상됨을 보여주었다.