[논문 리뷰] PMC text mining subset in BioC: 2.3 million full text articles and growing

Donald C. Comeau, Chih-Hsuan Wei외 2명|arXiv (Cornell University)|2018. 04. 16.

Biomedical Text Mining and Ontologies인용 수 3

한 줄 요약

이 논문은 PubMed Central(PMC)에서 유닉스 기반의 230만 개의 전문 생물의학 논문을 대규모로 수집하고, 정보 추출을 효율적으로 하기 위해 BioC 형식으로 변환한 공개 가능한 텍스트 마이닝 서브셋을 제시한다. 이 데이터셋은 FTP와 웹 API를 통해 이용 가능하며, 연구자들이 구조화된 주석이 부여된 전체 논문에 쉽게 접근하고 분석할 수 있도록 하여 생물의학 텍스트 마이닝 연구를 크게 발전시킨다.

ABSTRACT

Interest in full text mining biomedical research articles is growing. NCBI provides the PMC Open Access and Author Manuscript sets of articles which are available for text mining. We have made all of these articles available in BioC, an XML and JSON format which is convenient for sharing text, annotations, and relations. These articles are available both via ftp for bulk download and via a Web API for updates or more focused collection. Availability: https://www.ncbi.nlm.nih.gov/research/bionlp/APIs/BioC-PMC/

연구 동기 및 목표

• 텍스트 마이닝 응용 프로그램을 위한 대규모로 접근 가능한 전체 생물의학 논문에 대한 증가하는 수요를 충족시키기 위해.
• 연구 공동체 간에 텍스트, 주석, 관계를 간편하게 공유할 수 있도록 표준화된 기계가 읽을 수 있는 형식(BioC)을 제공하기 위해.
• 확장 가능한 배포 방식을 통해 전체 PMC 오픈 액세스 및 저자 원고 컬렉션에 효율적으로 접근할 수 있도록 하기 위해.
• 포괄적이고 최신 상태의 데이터셋을 제공함으로써 연구자들이 텍스트 마이닝 시스템을 구축하고 훈련할 수 있도록 지원하기 위해.
• 지속적인 다운로드와 프로그래밍 방식의 액세스를 가능하게 하기 위해 웹 API를 통한 동적 데이터 검색 및 업데이트를 지원하기 위해.

제안 방법

• NCBI의 PMC 오픈 액세스 및 저자 원고 컬렉션에서 모든 전체 논문을 수집하였다.
• 각 논문을 텍스트, 주석, 관계를 구조화된 방식으로 표현할 수 있는 BioC 형식으로 변환하였다.
• 대용량 오프라인 처리를 위해 대량 다운로드를 위한 FTP를 통해 데이터셋을 제공하였다.
• 요청 시 액세스 및 점진적인 업데이트를 지원하기 위해 웹 API를 구현하였다.
• 디지털 도서관을 위한 공식된 BioC 표준을 준수함으로써 데이터 일관성과 상호운용성을 확보하였다.
• 재현 가능성과 장기적인 사용 가능성을 위해 버전 관리 및 메타데이터 추적을 유지하였다.

실험 결과

연구 질문

• RQ1 텍스트 마이닝을 위한 표준화되고 기계가 읽을 수 있는 형식으로 전체 생물의학 논문을 어떻게 효율적으로 제공할 수 있는가?
• RQ2 대규모 분석에서 실시간 데이터 액세스에 이르기까지 다양한 연구 요구를 충족시키기 위해 가장 적합한 확장 가능한 배포 메커니즘은 무엇인가?
• RQ3 미리 변환되고 주석이 부여된 데이터셋을 제공함으로써 생물의학 텍스트 마이닝 연구의 진입 장벽은 어느 정도 감소하는가?
• RQ4 PMC 논문을 BioC 형식으로 통합함으로써 텍스트 마이닝 도구 및 시스템 간의 상호운용성은 어떻게 향상되는가?
• RQ5 대규모 생물의학 텍스트 데이터셋에 액세스하기 위해 웹 API와 FTP를 사용할 경우 성능 및 사용성의 상충 요소는 무엇인가?

주요 결과

• 이 데이터셋은 230만 개의 전체 생물의학 논문을 포함하고 있어 생명과학 분야에서 가장 큰 공개 가능한 텍스트 마이닝 자료 중 하나이다.
• 전체 컬렉션은 BioC 형식으로 제공되어 후속 분석을 위한 텍스트, 주석, 관계에 대한 구조화된 액세스를 가능하게 한다.
• 이 데이터셋은 대량 다운로드를 위한 FTP와 요청 시 액세스 및 점진적 업데이트를 위한 웹 API를 통해 배포된다.
• 표준 형식으로 제공되는 데이터셋은 전체 논문을 텍스트 마이닝 파이프라인에 준비하는 데 소요되는 노력을 크게 줄인다.
• 지속적인 업데이트와 확장이 가능하여 연구 요구사항의 변화에 따라 장기적으로 관련성과 사용 가능성을 유지한다.
• PMC 논문이 BioC 생태계에 통합됨으로써 기존의 텍스트 마이닝 도구 및 프레임워크와의 상호운용성이 향상된다.