[논문 리뷰] OpenNRE: An Open and Extensible Toolkit for Neural Relation Extraction

Xu Han, Tianyu Gao외 4명|ArXiv.org|2019. 09. 28.

Topic Modeling참고 문헌 26인용 수 7

한 줄 요약

OpenNRE는 텐서플로우와 파이토치 기반으로 구축된 오픈소스이자 확장 가능한 툴킷으로, 문장 수준, 백 수준, 소수 샘플 관계 추출을 포함한 다양한 환경에서 신경 관계 추출(NRE) 모델의 훈련, 검증, 배포를 위한 통합 프레임워크를 제공한다. 엔티티 인식 및 엔티티 링킹과 같은 종단 간 파ip라인 작업을 지원하며, 위키데이터에 맞춰진 사실 추출을 위한 실시간 온라인 시스템을 포함하고 있어 세미나-2010, NYT10, FewRel 등의 벤치마크 데이터셋에서 원본 모델과 비교해도 성능이 동등하거나 뛰어나다.

ABSTRACT

OpenNRE is an open-source and extensible toolkit that provides a unified framework to implement neural models for relation extraction (RE). Specifically, by implementing typical RE methods, OpenNRE not only allows developers to train custom models to extract structured relational facts from the plain text but also supports quick model validation for researchers. Besides, OpenNRE provides various functional RE modules based on both TensorFlow and PyTorch to maintain sufficient modularity and extensibility, making it becomes easy to incorporate new models into the framework. Besides the toolkit, we also release an online system to meet real-time extraction without any training and deploying. Meanwhile, the online system can extract facts in various scenarios as well as aligning the extracted facts to Wikidata, which may benefit various downstream knowledge-driven applications (e.g., information retrieval and question answering). More details of the toolkit and online system can be obtained from http://github.com/thunlp/OpenNRE.

연구 동기 및 목표

• 감독 학습, 원거리 감독 학습, 소수 샘플 학습 등 다양한 학습 철학에 걸쳐 신경 관계 추출(NRE) 모델의 훈련 및 평가를 위한 통합적이고 확장 가능하며 효율적인 툴킷이 부족한 문제를 해결하기 위해.
• 연구자 및 개발자가 괴로운 접합 코드를 작성하지 않고도 간편하게 맞춤형 NRE 모델을 구현하고 훈련하며 검증할 수 있도록 하기 위해.
• 위키데이터 엔티티 정렬 기반 실시간, 초기 훈련이 없는 관계 추출을 위한 프로덕션 수준의 온라인 시스템을 제공하기 위해.
• 텐서플로우와 파이토치를 모두 지원하고 새로운 모델을 플러그인 방식으로 통합할 수 있도록 함으로써 장기적인 확장성과 모듈성을 유지하기 위해.
• 이름 있는 엔티티 인식(ner) 및 엔티티 링킹(el) 모듈을 통합하여 종단 간 지식 마이닝 파이프라인을 지원하기 위해.

제안 방법

• 이 툴킷은 문장 수준, 백 수준, 소수 샘플 관계 추출 작업 전반에 걸쳐 데이터 처리, 모델 훈련, 평가를 위한 통합 프레임워크를 제공한다.
• 엔티티 마커와 [CLS] 또는 스팬 기반 출력 표현 방식을 지원하는 CNN 기반, BERT 기반, 프로토타입 네트워크 등 다양한 NRE 모델을 구현한다.
• 딥 러닝 백본으로서 CNN과 단어 및 위치 임베딩을 사용하며, BERT는 엔티티 마커를 통해 미세조정하여 개선된 문맥 표현을 제공한다.
• 원거리 감독 학습을 위해 인스턴스 수준의 어텐션 메커니즘을 사용하는 어텐션 기반, 적대적, 강화 학습 기반 모델을 구현한다.
• 사전 훈련된 모델을 사용하여 실시간 추출을 지원하고, TagMe를 통해 추출된 엔티티를 위키데이터에 정렬하는 온라인 시스템을 구축한다.
• 툴킷은 모듈화되어 있으며 확장 가능하여 개발자가 최소한의 코드 변경으로 새로운 모델을 통합할 수 있으며, 장기 지원을 위한 GitHub 기반 유지보수 체계를 운영한다.

실험 결과

연구 질문

• RQ1 다양한 학습 철학, 예를 들어 감독 학습, 원거리 감독 학습, 소수 샘플 학습 등에서 다양한 신경 관계 추출 모델의 구현, 훈련, 평가를 단순화할 수 있는 통합적이고 오픈소스의 툴킷을 구축할 수 있는가?
• RQ2 OpenNRE는 SemEval-2010, NYT10, FewRel 등의 표준 벤치마크에서 원본 모델과 비교해 성능이 동등하거나 뛰어나게 달성할 수 있는가?
• RQ3 OpenNRE 파이프라인 내에서 NER 및 엔티티 링킹 모듈의 통합은 종단 간 지식 마이닝에 얼마나 효과적인가?
• RQ4 위키데이터 정렬 기반 실시간, 초기 훈련이 없는 온라인 시스템을 OpenNRE를 활용해 효과적으로 구현할 수 있는가?
• RQ5 OpenNRE는 향후 모델 통합 및 장기적 유지보수를 위해 얼마나 잘 확장성과 모듈성을 지원하는가?

주요 결과

• OpenNRE 내 BERT 기반 모델은 SemEval-2010 Task-8에서 최고 성능을 기록하여 테스트 F1 스코어 88.4를 기록하며 CNN 베이스라인을 능가했다.
• Wiki80 소수 샘플 벤치마크에서 BERT-PAIR 모델은 5-way 1-shot 설정에서 F1 스코어 93.2를 기록하여 원본 결과인 92.8을 초월했다.
• NYT10에서의 CNN-ATT, CNN-ADV, CNN-RL 모델은 각각 AUC 스코어 0.333, 0.337, 0.276를 기록하여 Lin 등(2016) 및 Feng 등(2018)의 원본 결과와 동등하거나 이를 초월했다.
• BERT 기반 프로토타입 네트워크의 OpenNRE 구현은 5-way 1-shot 설정에서 F1 스코어 89.6을 기록하여 Han 등(2018c)이 보고한 원본 결과 88.4를 뛰어넘었다.
• 온라인 시스템은 빠른 추론과 원활한 위키데이터 정렬을 지원하는 실시간 관계 추출을 가능하게 하며, 모델 재훈련 없이도 배포가 가능하다.
• 이 툴킷은 강력한 확장성과 모듈성을 입증하여 새로운 모델의 효율적 통합과 커뮤니티 기여를 통한 장기적 유지보수를 가능하게 했다.