[論文レビュー] BigBIO: A Framework for Data-Centric Biomedical Natural Language Processing

Jason Fries, Leon Weber+41 more|arXiv (Cornell University)|Jun 30, 2022

Topic Modeling参考文献 138被引用数 12

ひとこと要約

BigBIO は、126 以上のキュレート済みバイオメディカル NLP データセットを、12 のタスクカテゴリと 10 以上の言語にわたり、コミュニティ主導のフレームワークとして提供する。これにより、ゼロショットおよびフェイントショット言語モデルの評価のための再現可能なメタデータセットキュレーションが可能になる。Hugging Face の datasets ライブラリに基づき、PromptSource および EleutherAI Harness と統合されているため、バイオメディカル NLP におけるプロンプト工学および大規模なマルチタスク学習が簡素化される。

ABSTRACT

Training and evaluating language models increasingly requires the construction of meta-datasets --diverse collections of curated data with clear provenance. Natural language prompting has recently lead to improved zero-shot generalization by transforming existing, supervised datasets into a diversity of novel pretraining tasks, highlighting the benefits of meta-dataset curation. While successful in general-domain text, translating these data-centric approaches to biomedical language modeling remains challenging, as labeled biomedical datasets are significantly underrepresented in popular data hubs. To address this challenge, we introduce BigBIO a community library of 126+ biomedical NLP datasets, currently covering 12 task categories and 10+ languages. BigBIO facilitates reproducible meta-dataset curation via programmatic access to datasets and their metadata, and is compatible with current platforms for prompt engineering and end-to-end few/zero shot language model evaluation. We discuss our process for task schema harmonization, data auditing, contribution guidelines, and outline two illustrative use cases: zero-shot evaluation of biomedical prompts and large-scale, multi-task learning. BigBIO is an ongoing community effort and is available at https://github.com/bigscience-workshop/biomedical

研究の動機と目的

• 一般向けデータハブ（例：Hugging Face の datasets ライブラリ）におけるバイオメディカルデータセットの不足を是正すること。
• 標準化されたプログラム的アクセスを通じて、キュレート済みデータセットを用いた再現可能でデータ中心のバイオメディカル言語モデル開発を可能にすること。
• プロンプト工学とデータセット間統合を促進することで、ゼロショットおよびフェイントショット評価を支援すること。
• バイオメディカル NLP におけるデータセット貢献、メタデータの統一、データ監査のためのコミュニティ主導のガイドラインを確立すること。
• マルチタスク学習およびプロンプトベースのトレーニングのための大規模メタデータセット構築における工学的コストを低減すること。

提案手法

• BigBIO は、多様なソースから 126 以上のバイオメディカル NLP データセットを集約し、それぞれに出典、ライセンス、タスクタイプに関する構造化されたメタデータを付与する。
• オリジナルのデータセット形式を保持しつつ、プロンプト工学に適したデータセット間の相互運用性を実現する、軽量で統一されたデータスキーマを実装する。
• Hugging Face の datasets ライブラリに基づいて構築されており、既存の NLP ツールキットおよびプラットフォームとのシームレスな統合を可能にする。
• システム的なプロンプト生成を可能にする PromptSource および標準化されたゼロ/フェイントショット評価を実現する EleutherAI Language Model Evaluation Harness と統合する。
• 再現可能性を確保するためのデータ監査、スキーマの統一、バージョン管理を含む、コミュニティ貢献パイプラインを確立する。
• 12 のタスクカテゴリ（NER、QA、TXTCLASS、RE など）にマッピングされたデータセットを含め、マルチ言語およびマルチタスク評価をサポートする。

実験結果

リサーチクエスチョン

• RQ1 バイオメディカル NLP データセットを、データ中心の言語モデリングを支援するため、どのように体系的かつプログラム的アクセス可能にキュレートできるか？
• RQ2 BigBIO は、プロンプト工学を通じて、どの程度バイオメディカル言語モデルのゼロショット評価を可能にできるか？
• RQ3 BigBIO は、100 以上の多様なバイオメディカル NLP タスクを用いた大規模なマルチタスク学習を促進できるか？
• RQ4 スキーマの統一は、データセットの整合性を保ちつつ、データセット間統合を可能にするのにどの程度有効か？
• RQ5 コミュニティ主導のキュレーションおよびメタデータ標準化は、バイオメディカル NLP における再現性およびモデル評価にどのような影響を与えるか？

主な発見

• BigBIO は、126 以上のユニットテスト済みバイオメディカル NLP データセットへのプログラム的アクセスを提供し、出典およびライセンスに関する構造化されたメタデータとともに、12 のタスクカテゴリと 10 以上の言語をカバーする。
• PromptSource および EleutherAI Harness との統合により、バイオメディカル言語モデルの効率的なゼロショット評価が可能になる。
• 100 を超える多様なバイオメディカル NLP タスクを用いた大規模なマルチタスク学習が BigBIO でサポートされ、メタデータセット構築にかかる工学的オーバーヘッドが顕著に低減される。
• スキーマの統一により、元の構造とタスク意味論を保持しつつ、一貫したデータセットへのアクセスが可能になる。
• コミュニティ主導の貢献モデルにより、データ品質、再現性、データセットライブラリの長期的持続可能性が保証される。
• 既存の NLP プラットフォームとの統合により、多様なバイオメディカルタスクにわたり、プロンプトおよびモデルのエンドツーエンド評価が可能になる。