[論文レビュー] Spanish Biomedical Crawled Corpus: A Large, Diverse Dataset for Spanish Biomedical Language Models

Casimiro Pio Carrino, Jordi Armengol-Estapé+5 more|arXiv (Cornell University)|Sep 16, 2021

Topic Modeling参考文献 8被引用数 4

ひとこと要約

本稿では、2020年の大規模なウェブクローリングとドメイン固有のシーディング、および独自の前処理パイプラインを用いて作成された、これまでで最大の公開可能でスペイン語の生物医学分野に特化したコーパス、CoWeSeを紹介する。このコーパスは、3,338のキュレート済みドメインにまたがる2.766のウェブサイトから得られた4.5GBのクリーンなプレーンテキスト（745.7億トークン）を含む。このコーパスは、スペイン語の言語モデルの学習や、医療・生物医学分野における自然言語処理の発展を支援する高品質で多様な生物医学的テキストを提供する。

ABSTRACT

We introduce CoWeSe (the Corpus Web Salud Español), the largest Spanish biomedical corpus to date, consisting of 4.5GB (about 750M tokens) of clean plain text. CoWeSe is the result of a massive crawler on 3000 Spanish domains executed in 2020. The corpus is openly available and already preprocessed. CoWeSe is an important resource for biomedical and health NLP in Spanish and has already been employed to train domain-specific language models and to produce word embbedings. We released the CoWeSe corpus under a Creative Commons Attribution 4.0 International license, both in Zenodo (\url{https://zenodo.org/record/4561971\#.YTI5SnVKiEA}).

研究の動機と目的

• NLP分野における大規模かつ高品質なスペイン語の生物医学的テキストの不足に対処するため、包括的かつ多様なコーパスの構築を目的とする。
• 従来のリソースに見られる制限を克服するため、学術的文献にとどまらず、非学術的で現実世界の医療関連ウェブサイトからのデータ収集を目的とする。
• スペイン語の生物医学的および臨床的NLPアプリケーション向けに、ドメイン特化型言語モデルおよび単語埋め込みの開発を支援することを目的とする。
• 再現可能な研究およびモデル学習を可能にするために、公開可能で事前に前処理済みのコーパスを提供することを目的とする。

提案手法

• 病院、患者団体、公衆衛生機関を含む10の健康関連カテゴリに属する3,338のキュレート済みウェブサイトを、深さ5のクロール戦略でクロールした。
• 医療および生物医学的コンテンツに特化した関連性の高いドメインを優先的に選定し、スペインのISCIIIが医療情報リソースとして指定したサイトも含めた。
• 意味のある生物医学的テキストを保持しつつ、関連性の低いフォーマットを除外するため、段落および見出しのHTMLタグのみを抽出した。
• 文分割、言語識別、重複除去を含む、高品質なクリーニングを実行するため、50ノードのカスタムハイパフォーマンスコンピューティングパイプラインを適用した。
• 標準モデルでは低い信頼度スコアを示す生物医学的スペイン語をより正確に検出できるように、言語識別レートを向上させた。
• データ品質を確保し、冗長性を防ぐために、元のドキュメント境界を保持し、コンテンツの重複除去を実施した。

実験結果

リサーチクエスチョン

• RQ1 大規模なウェブクローリングによるコーパスは、効果的なスペイン語生物医学的言語モデルの学習に十分なカバー範囲と多様性を提供できるか？
• RQ2 学術的文献コーパスとは対照的に、非学術的で現実世界の医療関連ウェブサイトから得られたコーパスは、言語的およびドメインの多様性においてどのように異なるか？
• RQ3 高スループットで自動化された前処理パイプラインは、膨大なスケールのウェブベースの生物医学的データを処理する中で、テキスト品質をどの程度維持できるか？
• RQ4 公開可能で事前に前処理済みのコーパスは、スペイン語生物医学的NLPツールおよびモデルの開発を加速できるか？
• RQ5 低リソース環境における生物医学的スペイン語検出の正確性に、言語識別レートのチューニングがどの程度の影響を与えるか？

主な発見

• CoWeSeコーパスには、158万件のドキュメントおよび3,277万件の文を含む、4.5GBのクリーンなプレーンテキスト（745.7億トークン）が含まれている。
• このコーパスは、病院、患者協会、公衆衛生機関を含む多様な健康分野の2,766のウェブサイトから得られたものである。
• 前処理パイプラインにより、元のWARCデータ（905GB）が重複除去およびノイズフィルタリングを通じて、クリーンで利用可能なコーパス（4.5GB）にまで縮小された。
• コーパスにはスペイン語、カタルーニャ語、ガリシア語、バスク語のコンテンツが含まれており、スペインにおける多言語の医療情報の状況を反映している。
• コーパスはクリエイティブ・コモンズ・アトリビューション4.0国際ライセンス（CC BY 4.0）の下で公開されており、オープンアクセスおよび再利用が保証されている。
• このコーパスは、すでにドメイン特化型言語モデルの学習および単語埋め込みの生成に使用されており、スペイン語生物医学的NLP分野における実用性が実証された。