[논문 리뷰] Overview of the CCKS 2019 Knowledge Graph Evaluation Track: Entity, Relation, Event and QA

Xianpei Han, Zhichun Wang외 23명|arXiv (Cornell University)|2020. 03. 09.

Advanced Graph Neural Networks참고 문헌 14인용 수 11

한 줄 요약

이 논문은 실체 인식, 관계 추출, 이벤트 탐지 및 질의 응답에 중점을 둔 6개의 과제를 포함한 CCKS 2019 지식 그래프 평가 트랙에 대한 종합적인 개요를 제시한다. 성공한 방법, 공유 자원 및 핵심 과제를 분석하여 중국어 지식 마이닝 및 NLP 분야의 지식 그래프 응용 및 향후 연구를 위한 유용한 참고 자료를 제공한다.

ABSTRACT

Knowledge graph models world knowledge as concepts, entities, and the relationships between them, which has been widely used in many real-world tasks. CCKS 2019 held an evaluation track with 6 tasks and attracted more than 1,600 teams. In this paper, we give an overview of the knowledge graph evaluation tract at CCKS 2019. By reviewing the task definition, successful methods, useful resources, good strategies and research challenges associated with each task in CCKS 2019, this paper can provide a helpful reference for developing knowledge graph applications and conducting future knowledge graph researches.

연구 동기 및 목표

• 중국어 지식 그래프 구축 및 응용 분야의 6개의 별도 과제를 포함한 CCKS 2019 지식 그래프 평가 트랙에 대한 체계적인 리뷰 제공.
• 1,600개 이상의 참가 팀이 사용한 과제 정의, 평가 지표 및 성공적인 접근 방식 분석.
• 실체, 관계, 이벤트 및 질의 응답 과제 간의 공통 전략, 공유 자원 및 지속적인 연구 과제 식별.
• 중국어 지식 그래프 응용 및 NLP 시스템 분야의 향후 연구 및 개발을 위한 참고 자료 제공.
• 저자원 및 多언어 환경에서의 지식 그래프 구축 분야에서의 최신 기술 성능 및 방법론적 추세 강조.

제안 방법

• 평가 트랙은 실체 연결, 관계 분류, 이벤트 탐지, 이벤트 인자 추출, 개방도 질의 응답, 지식 그래프 보완의 6개 과제로 구성됨.
• 모든 과제는 표준화된 데이터셋, 주석 가이드라인 및 평가 프로토콜을 통해 재현 가능성과 공정성을 확보함.
• 참가자들은 딥 네트워크, 사전 학습된 언어 모델(BERT 등), 그래프 기반 방법을 활용한 지식 추론 기법을 다양하게 적용함.
• 조직위원회는 최고 성능을 낸 제출물을 수집하고 분석하여 과제 간 공통 패턴과 효과적인 전략 파악.
• 재현 가능성과 벤치마킹 지원을 위해 주석이 달린 학습 및 테스트 세트 등 공유 자원을 공개함.
• 표준 평가 지표인 F1, 정확 일치, BLEU 등을 사용하여 과제 간 시스템 성능 평가.

실험 결과

연구 질문

• RQ1 중국어 텍스트에서 실체 연결 및 관계 분류에 가장 효과적인 방법은 무엇인가?
• RQ2 이벤트 탐지 및 인자 역할 레이블링 과제에서 다양한 아키텍처의 성능은 어떻게 비교되는가?
• RQ3 중국어 지식 그래프를 대상으로 한 개방도 질의 응답에서의 핵심 과제는 무엇인가?
• RQ4 지식 그래프 보완 및 추론 과제에서 사전 학습된 모델과 그래프 신경망은 어떻게 비교되는가?
• RQ5 다양한 과제 간 성능 향상에 기여한 주요 공유 자원 및 주석 전략은 무엇인가?

주요 결과

• CCKS 2019 평가 트랙은 1,600개 이상의 팀이 참가하여 중국어 지식 그래프 연구 분야에 대한 높은 공동체 관심을 보였음.
• BERT와 같은 사전 학습된 언어 모델이 실체, 관계 및 질의 응답 과제 전반에서 성능 향상에 기여함.
• 그래프 신경망과 지식 인식 주의 메커니즘은 지식 그래프 보완 및 추론 과제에서 뛰어난 성능을 보임.
• 이벤트 탐지 및 인자 역할 레이블링 과제는 실체 및 관계 과제에 비해 F1 점수가 낮아 여전히 도전 과제로 남아 있음.
• 공유 데이터셋과 표준화된 평가 프로토콜이 공정한 벤치마킹을 가능하게 하였고, 팀 간 방법 비교를 촉진함.
• 외부 지식 통합 및 문맥 모델링은 복잡한 추론 및 QA 과제에서 높은 성능과 항상 연관됨.