[논문 리뷰] Metadata in the BioSample Online Repository are Impaired by Numerous Anomalies

Rafael S. Gonçalves, Martin J. O’Connor외 3명|arXiv (Cornell University)|2017. 08. 03.

Biomedical Text Mining and Ontologies참고 문헌 10인용 수 9

한 줄 요약

이 연구는 NCBI BioSample 레포지토리의 메타데이터 품질을 평가하여 광범위한 일관성 결여와 표준화 부족을 드러낸다. 660만 건의 레코드 중 15%는 정의되지 않은 필드 이름을 사용하며, 부울 필드의 27%만이 유효한 값을 포함하고 있어 메타데이터 검증 및 시행 메커니즘의 체계적 실패를 시사한다.

ABSTRACT

The metadata about scientific experiments are crucial for finding, reproducing, and reusing the data that the metadata describe. We present a study of the quality of the metadata stored in BioSample--a repository of metadata about samples used in biomedical experiments managed by the U.S. National Center for Biomedical Technology Information (NCBI). We tested whether 6.6 million BioSample metadata records are populated with values that fulfill the stated requirements for such values. Our study revealed multiple anomalies in the analyzed metadata. The BioSample metadata field names and their values are not standardized or controlled--15% of the metadata fields use field names not specified in the BioSample data dictionary. Only 9 out of 452 BioSample-specified fields ordinarily require ontology terms as values, and the quality of these controlled fields is better than that of uncontrolled ones, as even simple binary or numeric fields are often populated with inadequate values of different data types (e.g., only 27% of Boolean values are valid). Overall, the metadata in BioSample reveal that there is a lack of principled mechanisms to enforce and validate metadata requirements. The aberrancies in the metadata are likely to impede search and secondary use of the associated datasets.

연구 동기 및 목표

• BioSample 레포지토리의 메타데이터 품질과 일관성을 평가하기 위해.
• 메타데이터 필드와 값에 대한 구조적 및 의미적 이면을 규명하기 위해.
• 통제된 어휘와 온톨로지가 효과적으로 시행되고 있는지 평가하기 위해.
• 메타데이터 결함이 데이터 탐색 가능성과 재사용에 어떤 영향을 미치는지 파악하기 위해.
• 개선된 검증 메커니즘이 신뢰할 수 있는 생물의학 데이터 통합을 위해 필수적임을 제안하기 위해.

제안 방법

• 연구진은 NCBI 레포지토리에서 660만 건의 BioSample 메타데이터 레코드를 분석하였다.
• 공식 BioSample 데이터 사전과의 대조를 통해 필드 이름의 비표준화 항목을 탐지하기 위해 검증하였다.
• 특히 부울, 숫자, 범주형 필드의 데이터 유형 일관성 여부를 평가하였다.
• 통제된 어휘가 요구되는 필드에서 온톨로지 용어의 사용 여부를 평가하였으며, 통제된 필드와 비통제 필드 간의 품질을 비교하였다.
• 자동화된 파싱과 유형 검사를 적용하여 데이터 유형 불일치 및 유효하지 않은 값의 존재를 탐지하였다.
• 통계 분석을 통해 다양한 메타데이터 필드 유형별 이상치를 정량화하였다.

실험 결과

연구 질문

• RQ1 BioSample 메타데이터 필드 이름이 레포지토리 전반에서 얼마나 표준화되어 있는가?
• RQ2 부울, 숫자, 또는 범주형 값과 같은 필드에서 데이터 유형 위반이 얼마나 자주 발생하는가?
• RQ3 통제된 용어가 요구되는 필드에서 올바른 온톨로지 사용 비율은 얼마인가?
• RQ4 통제된 필드의 품질 지표는 비통제 필드와 비교해 어떻게 다른가?
• RQ5 메타데이터 관리의 체계적 문제 중 어떤 것이 일관성 결여를 초래하고 데이터 재사용을 저해하는가?

주요 결과

• BioSample에서 15%의 메타데이터 필드 이름이 공식 BioSample 데이터 사전에 정의되어 있지 않다.
• 지정된 452개 필드 중 9개만이 온톨로지 용어를 요구하며, 이마저도 일관성 없는 사용을 보이고 있다.
• 부울 필드 중 유효한 부울 값이 포함된 비율은 단 27%에 불과하여 광범위한 데이터 유형 위반이 확인된다.
• 비통제 필드는 단순한 데이터 유형일지라도 통제 필드보다 훨씬 열 劣한 데이터 품질을 보이고 있다.
• 원칙적인 검증 및 시행 메커니즘이 부재함으로써 전체 메타데이터 품질이 악영향을 받고 있다.
• 이러한 이상 현상들은 관련 데이터셋의 효과적인 검색, 통합 및 2차적 활용을 저해할 가능성이 크다.