[논문 리뷰] BigBIO: A Framework for Data-Centric Biomedical Natural Language Processing

Jason Fries, Leon Weber외 41명|arXiv (Cornell University)|2022. 06. 30.

Topic Modeling참고 문헌 138인용 수 12

한 줄 요약

BigBIO는 12개의 작업 유형과 10개 이상의 언어를 포함한 126개 이상의 정제된 생물의학 NLP 데이터셋에 프로그래밍 방식으로 액세스할 수 있는 커뮤니티 기반 프레임워크를 제공함으로써, 생물의학 분야에서 제로샷 및 패기샷 언어 모델 평가를 위한 재현 가능한 메타데이터셋 정제를 가능하게 한다. Hugging Face의 datasets 라이브러리 기반으로 구축되었으며, PromptSource 및 EleutherAI Harness와 통합되어 생물의학 NLP에서 프롬프트 엔지니어링과 대규모 다중 작업 학습을 간소화한다.

ABSTRACT

Training and evaluating language models increasingly requires the construction of meta-datasets --diverse collections of curated data with clear provenance. Natural language prompting has recently lead to improved zero-shot generalization by transforming existing, supervised datasets into a diversity of novel pretraining tasks, highlighting the benefits of meta-dataset curation. While successful in general-domain text, translating these data-centric approaches to biomedical language modeling remains challenging, as labeled biomedical datasets are significantly underrepresented in popular data hubs. To address this challenge, we introduce BigBIO a community library of 126+ biomedical NLP datasets, currently covering 12 task categories and 10+ languages. BigBIO facilitates reproducible meta-dataset curation via programmatic access to datasets and their metadata, and is compatible with current platforms for prompt engineering and end-to-end few/zero shot language model evaluation. We discuss our process for task schema harmonization, data auditing, contribution guidelines, and outline two illustrative use cases: zero-shot evaluation of biomedical prompts and large-scale, multi-task learning. BigBIO is an ongoing community effort and is available at https://github.com/bigscience-workshop/biomedical

연구 동기 및 목표

• Hugging Face의 datasets 라이브러리와 같은 일반 목적의 데이터 허브에 생물의학 데이터셋이 부족하게 반영되고 있는 문제를 해결하기 위해.
• 표준화된 프로그래밍 방식의 액세스를 통해 정제된 데이터셋을 활용한 생물의학 언어 모델의 데이터 중심 개발을 재현 가능하게 하기 위해.
• 프롬프트 엔지니어링과 데이터셋 간 통합을 통해 언어 모델의 제로샷 및 패기샷 평가를 지원하기 위해.
• 생물의학 NLP에서 데이터셋 기여, 메타데이터 조율, 데이터 감사에 대한 커뮤니티 기반 가이드라인을 수립하기 위해.
• 다중 작업 학습 및 프롬프트 기반 훈련을 위한 대규모 메타데이터셋을 구축하는 데 드는 엔지니어링 비용을 낮추기 위해.

제안 방법

• BigBIO는 다양한 출처에서 온 126개 이상의 생물의학 NLP 데이터셋을 집계하며, 각 데이터셋은 기원, 라이선스, 작업 유형에 대한 구조화된 메타데이터를 포함한다.
• 가벼운, 조율된 데이터 스키마를 구현하여 원본 데이터셋 형식을 유지하면서도 프롬프트 엔지니어링을 위한 데이터셋 간 호환성을 확보한다.
• 프레임워크는 Hugging Face의 datasets 라이브러리 기반으로 구축되어 기존 NLP 툴링 및 플랫폼과 원활하게 통합된다.
• 체계적인 프롬프트 생성을 위한 PromptSource와 표준화된 제로/패기샷 평가를 위한 EleutherAI 언어 모델 평가 허브와 통합된다.
• 재현 가능성을 위해 데이터 감사, 스키마 조율, 버전 제어를 포함한 커뮤니티 기여 파이프라인을 수립한다.
• 다국어 및 다중 작업 평가를 지원하며, NER, QA, TXTCLASS, RE를 포함한 12개의 작업 유형으로 데이터셋을 매핑한다.

실험 결과

연구 질문

• RQ1 생물의학 NLP 데이터셋은 어떻게 체계적으로 정제되고, 데이터 중심 언어 모델링을 지원하기 위해 프로그래밍 방식으로 액세스 가능하게 할 수 있는가?
• RQ2 BigBIO는 프롬프트 엔지니어링을 통해 얼마나 효과적으로 생물의학 언어 모델의 제로샷 평가를 가능하게 할 수 있는가?
• RQ3 BigBIO는 100개 이상의 다양한 생물의학 NLP 작업을 활용한 대규모 다중 작업 학습을 어떻게 지원할 수 있는가?
• RQ4 스키마 조율은 데이터셋의 무결성을 유지하면서도 데이터셋 간 통합을 가능하게 하는 데 얼마나 효과적인가?
• RQ5 커뮤니티 기반의 정제 및 메타데이터 표준화는 생물의학 NLP에서 재현 가능성과 모델 평가에 어떤 영향을 미치는가?

주요 결과

• BigBIO는 기원과 라이선스에 대한 구조화된 메타데이터를 포함하여 12개의 작업 유형과 10개 이상의 언어를 아우르는 126개 이상의 단위 테스트를 통과한 생물의학 NLP 데이터셋에 프로그래밍 방식으로 액세스할 수 있다.
• PromptSource 및 EleutherAI Harness와의 통합을 통해 BigBIO는 생물의학 언어 모델의 효율적인 제로샷 평가를 가능하게 한다.
• BigBIO는 100개 이상의 다양한 생물의학 NLP 작업을 활용한 대규모 다중 작업 학습을 지원하여 메타데이터셋 구축에 드는 엔지니어링 오버헤드를 크게 줄인다.
• 스키마 조율을 통해 원본 구조와 작업 의미를 유지하면서도 일관된 데이터셋 액세스를 가능하게 한다.
• 커뮤니티 기반 기여 모델은 데이터 품질, 재현 가능성, 데이터셋 라이브러리의 장기적 지속 가능성을 보장한다.
• 기존 NLP 플랫폼과의 통합을 통해 다양한 생물의학 작업에서 프롬프트와 모델의 엔드 투 엔드 평가가 가능해진다.