[논문 리뷰] Automatic Identification of Research Fields in Scientific Papers

Éric Kergosien, Amin Farvardin외 9명|arXiv (Cornell University)|2018. 06. 08.

Geographic Information Systems Studies참고 문헌 10인용 수 3

한 줄 요약

이 논문은 다국어 과학 논문에서 공간적, 시간적, 주제적 연구 분야를 자동으로 식별하기 위한 자연어 처리 및 텍스트 마이닝 프레임워크를 제시한다. ISTEX, CIRAD, ANRT의 이질적인 코퍼스를 표준화함으로써, 규칙 기반 및 기계학습 기법을 사용하여 공간 엔티티를 90%의 정밀도와 60%의 재현율로 주석 처리하며, 웹 기반 도구(SISO)를 통해 지리공간 기반 과학 문헌 검색을 가능하게 한다.

ABSTRACT

The TERRE-ISTEX project aims to identify scientific research dealing with specific geographical territories areas based on heterogeneous digital content available in scientific papers. The project is divided into three main work packages: (1) identification of the periods and places of empirical studies, and which reflect the publications resulting from the analyzed text samples, (2) identification of the themes which appear in these documents, and (3) development of a web-based geographical information retrieval tool (GIR). The first two actions combine Natural Language Processing patterns with text mining methods. The integration of the spatial, thematic and temporal dimensions in a GIR contributes to a better understanding of what kind of research has been carried out, of its topics and its geographical and historical coverage. Another originality of the TERRE-ISTEX project is the heterogeneous character of the corpus, including PhD theses and scientific articles from the ISTEX digital libraries and the CIRAD research center.

연구 동기 및 목표

• 이질적인 과학 문헌에서 공간적, 시간적, 주제적 정보를 추출하고 표준화하는 방법을 개발하기 위해.
• 연구자가 특정 지리적 영역, 시간대, 연구 주제를 기반으로 논문을 검색할 수 있도록 하기 위해.
• 세네갈과마다가스카르에서 기후 변화 연구의 분야별 및 다분야 연구 추세를 분석하기 위해.
• 지리공간적 및 주제적 메타데이터를 갖춘 과학 코퍼스의 색인 및 검색을 위한 확장 가능하고 다국어 기반의 확장 가능한 시스템을 구축하기 위해.
• 전문가 검증 및 공간적, 시간적, 주제적 엔티티의 주석 처리를 지원하는 웹 기반 도구(SISO)를 개발하기 위해.

제안 방법

• ISTEX, CIRAD(Agritrop), ANRT(theses.fr)에서 온 표준화된 다국어 과학 코퍼스를 통일된 데이터 모델을 사용하여 표준화한다.
• GATE(Generic Architecture for Text Engineering)에서 규칙 기반 및 패턴 매칭 기법을 적용하여 공간적, 시간적, 주제적 엔티티를 식별한다.
• 주제적 엔티티 주석 처리에 Agrovoc 온톨로지와 오프라인 검색을 사용하며, 공간적 및 시간적 특성에 대해 고유의 어휘집을 활용한다.
• 업로드, 시각화, 수정, XML/MODS 형식으로 내보내기 기능을 갖춘 SISO 웹 애플리케이션을 개발하였다.
• 정규화된 코퍼스에서 효율적인 색인 및 지리공간 정보 검색을 위해 Lucene 기반의 Elasticsearch를 통합하였다.
• 140건의 수작업 주석 처리된 문서를 대상으로 평가하여 공간 엔티티 주석 처리에서 78%의 정밀도를 달성하였으며, 600편에 대한 평가가 진행 중이다.

실험 결과

연구 질문

• RQ1 이질적이고 다국어 과학 논문에서 공간적, 시간적, 주제적 정보를 자동으로 추출할 수 있는 방법은 무엇인가?
• RQ2 규칙 기반 NLP 기법이 과학 문헌에서 지리적 위치와 연구 주제를 식별하는 데에 얼마나 효과적인가?
• RQ3 웹 기반 주석 및 검증 시스템(SISO)이 대규모 과학 코퍼스를 도메인 전문가가 효율적으로 관리하는 데에 효과적인가?
• RQ4 표준화된 메타데이터와 의미 온톨로지의 통합이 과학 문헌에서 지리공간 정보 검색을 어떻게 향상시키는가?
• RQ5 기계학습이 과학 텍스트에서 공간 엔티티의 의미 해석을 향상시키는 데에 얼마나 기여할 수 있는가(예: 국가와 기관을 구분하는 데서의 정밀도 향상)?

주요 결과

• 10편의 영문 코퍼스에서 공간 엔티티 주석 처리에 대해 90%의 정밀도와 60%의 재현율을 달성하였으며, 더 큰 규모의 140건 수작업 평가에서 78%의 정밀도를 확보하였다.
• 8,500건의 문서에 대한 전체 처리 파이프라인은 16,105초(약 1.9초/문서)가 소요되어 확장성을 입증하였다.
• SISO 웹 애플리케이션은 XML/MODS 형식으로 주석 처리된 코퍼스를 효율적으로 시각화, 수정, 내보내기 할 수 있도록 하였다.
• Agrovoc 온톨로지와 고유 어휘집의 통합은 특히 농업 및 환경 분야의 주제적 엔티티 주석 처리를 향상시켰다.
• Elasticsearch를 통한 색인화는 대규모 코퍼스에서 지리공간적 및 주제적 검색을 효율적으로 지원하며, 지리정보 검색(GIR) 시스템 개발을 가능하게 하였다.
• 향후 작업으로 기계학습(SVM 기반 모델)을 통합하여 공간 엔티티의 의미 해석을 향상시키며, ISO-Space 모델과의 비교를 계획하고 있다.