[논문 리뷰] Open Research Knowledge Graph: Next Generation Infrastructure for Semantic Scholarly Knowledge

Mohamad Yaser Jaradeh, Allard Oelen외 6명|arXiv (Cornell University)|2019. 01. 01.

Semantic Web and Ontologies참고 문헌 48인용 수 35

한 줄 요약

이 논문은 공동작업과 자동화된 자연어 처리를 융합한 하이브리드 접근 방식을 통해 기계로 처리할 수 있는 구조화된 형태로 학술 지식을 캡처하는 차세대 인프라인 오픈 리서치 지식 그래프(ORKG)를 소개한다. 사용자 평가 결과, 구조화된 학술 기여 기여에 대한 강한 수용성과 관심이 확인되어 지식 그래프 환경에서 확장 가능하고 세밀한 학술 지식 정제의 타당성이 검증되었다.

ABSTRACT

Despite improved digital access to scholarly knowledge in recent decades, scholarly communication remains exclusively document-based. In this form, scholarly knowledge is hard to process automatically. We present the first steps towards a knowledge graph based infrastructure that acquires scholarly knowledge in machine actionable form thus enabling new possibilities for scholarly knowledge curation, publication and processing. The primary contribution is to present, evaluate and discuss multi-modal scholarly knowledge acquisition, combining crowdsourced and automated techniques. We present the results of the first user evaluation of the infrastructure with the participants of a recent international conference. Results suggest that users were intrigued by the novelty of the proposed infrastructure and by the possibilities for innovative scholarly knowledge processing it could enable.

연구 동기 및 목표

• 문서 기반 학술 커뮤니케이션의 한계를 해결하기 위해 기계로 처리할 수 있고 의미적으로 풍부한 학술 지식 표현 방식을 제공한다.
• 특히 연구 생애 주기 동안 지식 생성 시점에 학술 지식을 캡처할 수 있는 인프라를 개발한다.
• 공동작업 기반 지식 정제 플랫폼을 통해 구조화된 학술 기여 기여에 대한 사용자 기여 의지와 시스템 사용성 평가를 수행한다.
• 자동화된 NLP 기법과 인간의 입력을 융합하여 다중 모odal 학술 지식 획득을 가능하게 한다.

제안 방법

• ORKG 인프라는 문제, 방법, 결과 등의 핵심 요소를 포함하는 구조화된 '연구 기여(RsearchContributions)'로 학술 지식을 모델링한다.
• 사용자가 가이드된 양식을 사용해 수동으로 연구 기여를 정제하고 주석을 달 수 있는 프론트엔드 인터페이스를 구현한다.
• Textrazor와 MeaningCloud 등의 도구를 활용한 명명된 엔티티 인식 및 관계 추출 등의 자동화된 NLP 파이프라인을 통합하여 사전 추출 및 제안 기능을 제공한다.
• 텍스트, 표, 그림 등 다중 모달 입력을 지원하여 지식 그래프 노드의 정보를 풍부하게 한다.
• 실시간 자동 텍스트 추출 통합을 시연하는 모의 인터페이스(그림 5)를 통해 사용자 입력을 안내한다.
• 버전 관리, 사용자 인증 기능을 지원하며, 향후 나노공개물 및 학술 시각화 도구와의 통합도 가능하다.

실험 결과

연구 질문

• RQ1 사용자들이 맞춤형 인프라를 통해 자신의 논문에 게재된 핵심 연구 기여의 구조화된 기술을 기여할 의향이 있으며, 그 인프라에 대한 사용자 수용성은 어떠한가?
• RQ2 이 인프라는 공동작업과 자동화 기술을 효과적으로 융합하여 다중 모달 학술 지식 획득을 수행할 수 있는가?
• RQ3 자동화된 정보 추출은 사용자 워크플로우에 어떻게 통합되어 수동 정제를 지원하고 용이하게 할 수 있는가?

주요 결과

• 학술 회의 워크숍에서의 사용자 평가 결과, ORKG 프론트엔드에 대해 강력한 긍정적 피드백을 받았으며, '지침 필요성' 외에는 모든 사용성 요소가 평균 이상으로 평가되어 높은 시스템 사용성임을 확인했다.
• 참가자들은 ORKG에 관심을 보이며, 디지털 도서관 및 학술 기관과의 통합을 제안하여 기관 수용 가능성을 시사했다.
• 엔티티 연결 커버리지 지표에서 Falcon이 가장 유망한 NLP 도구로 평가되었으며, 골드 표준 데이터셋에서 ζ (커버리지) 값이 0.78을 기록했다.
• 프로토타입은 자동화된 NLP 기능이 사용자 워크플로우에 통합된 사례를 성공적으로 시연했으며, 예를 들어 입력을 지원하기 위해 관련 텍스트 영역을 강조 표시하는 방식이었다.
• 결과적으로 저자들이 구조화된 지식 기여에 적극적인 것으로 확인되어, 대규모 공동작업 기반 학술 지식 정제의 타당성이 뒷받침됨을 확인했다.
• 시스템은 확장 가능하며, 토론 기능, 버전 관리, 나노공개물과의 상호운용성 등 향후 개선 사항을 지원한다.