[논문 리뷰] SemEval-2021 Task 11: NLPCONTRIBUTIONGRAPH - Structuring Scholarly NLP Contributions for a Research Knowledge Graph

Jennifer D’Souza, Sören Auer외 1명|arXiv (Cornell University)|2021. 01. 01.

Topic ModelingComputer Science참고 문헌 23인용 수 1

한 줄 요약

이 논문은 SemEval-2021 Task 11인 NLPCONTRIBUTIONGRAPH (NCG)를 소개한다. NCG는 기여 문장, 과학적 용어 및 관계, 주어진-서술어-목적어 삼중항의 세 가지 다각도에서 학술 NLP 기여를 지식 그래프(KG) 삼중항으로 체계화하는 새로운 공동 과제이다. 최고의 엔드투엔드 시스템은 문장 분류에서 57.27% F1, 어휘 추출에서 46.41% F1, 삼중항 생성에서 22.28% F1의 성능을 기록했으며, 황금 표준 입력을 사용한 하위과제 성능은 높지만 전체 과제의 난이도가 높음을 시사한다.

ABSTRACT

There is currently a gap between the natural language expression of scholarly publications and their structured semantic content modeling to enable intelligent content search. With the volume of research growing exponentially every year, a search feature operating over semantically structured content is compelling. The SemEval-2021 Shared Task NLPContributionGraph (a.k.a. ‘the NCG task’) tasks participants to develop automated systems that structure contributions from NLP scholarly articles in the English language. Being the first-of-its-kind in the SemEval series, the task released structured data from NLP scholarly articles at three levels of information granularity, i.e. at sentence-level, phrase-level, and phrases organized as triples toward Knowledge Graph (KG) building. The sentence-level annotations comprised the few sentences about the article’s contribution. The phrase-level annotations were scientific term and predicate phrases from the contribution sentences. Finally, the triples constituted the research overview KG. For the Shared Task, participating systems were then expected to automatically classify contribution sentences, extract scientific terms and relations from the sentences, and organize them as KG triples. Overall, the task drew a strong participation demographic of seven teams and 27 participants. The best end-to-end task system classified contribution sentences at 57.27% F1, phrases at 46.41% F1, and triples at 22.28% F1. While the absolute performance to generate triples remains low, as conclusion to the article, the difficulty of producing such data and as a consequence of modeling it is highlighted.

연구 동기 및 목표

• 비정형 학술 NLP 기여를 기계에서 읽을 수 있고 지식 그래프에 적합한 형식으로 체계화하는 자동화된 시스템 개발
• 학술 문헌의 정보 과잉 문제를 해결하기 위해 정교한 의미 기반 검색을 가능하게 하기 위해 정형화된 연구 콘텐츠를 제공함으로써
• 문장, 어휘, 삼중항 수준에서 연구 기여를 캡처하기 위한 표준화된 애너테이션 체계—NLPCONTRIBUTIONGRAPH (NCG)—구축
• 기여 추출을 자동화된 NLP 과제로 형식화함으로써 종합적이고 상호 연결된 연구 지식 그래프(ORKG) 구축 지원
• NLP 기법을 활용해 학술 논문에서 정형화된 연구 기여를 채굴하는 것의 실현 가능성과 난이도 평가

제안 방법

• 기여 문장, 과학적 용어 및 관계, 주어진-서술어-목적어 삼중항의 세 가지 다각도에서 애너테이션된 299편의 NLP 학술 논문으로 구성된 데이터셋을 공개
• 프리라이트 및 중재 단계를 거쳐 12개의 정보 단위(IU)를 정의하는 애너테이션 체계 개발: RESEARCHPROBLEM, MODEL, RESULTS, EXPERIMENTALSETUP 등
• 두 단계 평가 방식을 적용: 예측된 문장을 사용한 엔드투엔드 파이프라인, 수동으로 레이블링된 문장을 사용한 황금 표준 단계로 정보 단위 분류 성능를 격리하여 평가
• 참가자들은 BERT 기반 모델을 통한 분류 및 시퀀스 레이블링, 의존성 구문 분석, 히ュ리스틱과 기계 학습을 융합한 하이브리드 접근법 등 다양한 방법을 활용
• NCG 데이터셋은 공개되었으며, ORKG 디지털 라이브러리에서 샘플 지식 그래프도 발표됨

실험 결과

연구 질문

• RQ1 NLP 시스템은 학술 NLP 논문의 기여 문장을 자동으로 식별하고 분류하는 데 얼마나 효과적인가?
• RQ2 시스템은 높은 정밀도와 재현율로 기여 문장에서 과학적 용어와 관계 서술어를 얼마나 잘 추출할 수 있는가?
• RQ3 엔드투엔드 시스템은 비정형 학술 텍스트에서 정형 지식 그래프 삼중항을 생성하는 데 어떤 성능을 보이는가?
• RQ4 파이프라인에서 황금 표준 문장을 사용할 경우와 예측된 문장을 사용할 경우 성능에 어떤 차이가 있는가?
• RQ5 연구 기여에 대한 표준화된 다각도 애너테이션 체계를 구축하는 데 있어 핵심 과제와 한계는 무엇인가?

주요 결과

• 최고의 엔드투엔드 시스템은 기여 문장 분류에서 57.27% F1, 어휘 추출에서 46.41% F1, 삼중항 생성에서 22.28% F1의 성능 기록으로 엔드투엔드 지식 그래프 구축의 향상 여지가 크다는 것을 시사한다.
• 황금 표준 문장을 제공받은 경우, 최고의 시스템은 정보 단위 분류에서 71.72% F1의 성능 기록하여 문장 분류가 파이프라인의 주요 병목임을 입증한다.
• 3개의 필수 IU(RESEARCHPROBLEM, MODEL, RESULTS)만 예측하는 강력한 베이스라인 시스템이 69.01% F1의 성능 기록하여 여러 복잡한 모델을 능가함으로써 단순 히ュ리스틱이 효과적일 수 있음을 시사한다.
• INNOVATORS 팀의 시스템은 황금 표준 문장을 제공받아도 성능 향상이 없었으며, 입력 문장 품질에 의존하지 않는 고정 히ュ리스틱에 의존하고 있음을 시사한다.
• 훈련 세트에서 58.62%의 과제가 다섯 편 이하의 논문을 포함하는 등 데이터셋의 비균형적인 과제 분포가 낮은 일반화 능력과 자원이 적은 과제에서의 열악한 성능에 기여했을 가능성이 있다.