[論文レビュー] Spanish Biomedical and Clinical Language Embeddings

Asier Gutiérrez-Fandiño, Jordi Armengol-Estapé+4 more|arXiv (Cornell University)|Feb 25, 2021

Natural Language Processing Techniques参考文献 5被引用数 5

ひとこと要約

本稿では、大規模でクリーンなコーパスを用いてサブワード（BPE）トークン化を施したFastTextを用いた新しいスペイン語医療および臨床言語埋め込みを紹介する。PharmaCoNERベンチマークにおいて最先端の性能を達成し、大文字小文字区別ありの検証セットで90.91%、テストセットで89.40%の正答率を記録した。スキップグラム埋め込みを用いた結果、より大きなドメイン特化型データを用いることで表現学習が向上したことが示された。

ABSTRACT

We computed both Word and Sub-word Embeddings using FastText. For Sub-word embeddings we selected Byte Pair Encoding (BPE) algorithm to represent the sub-words. We evaluated the Biomedical Word Embeddings obtaining better results than previous versions showing the implication that with more data, we obtain better representations.

研究の動機と目的

• データの機密性の高さに起因する高品質なスペイン語医療および臨床NLPリソースの不足に対処すること。
• スペイン語医療テキスト用の強固で公開可能な単語およびサブワード埋め込みを開発すること。
• より大きなクリーニング済みコーパスを用いることで、低リソース医療NLPシナリオにおける表現学習を向上させること。
• 標準化されたベンチマーク上で埋め込みを評価し、性能向上を実証すること。
• NLPおよび医療AIコミュニティの皆が利用できるオープンアクセスリソースとして埋め込みをリリースすること。

提案手法

• PubMed、Scielo、EMEA、特許、ウェブクロールド医療テキストなど多様なソースから、11億トークン規模の大きな医療コーパス（1.1Bトークン）を構築した。
• 専門的な症例報告（COVID-19およびストローク症例を含む）から、150万トークン規模の臨床コーパス（1.5Mトークン）を構築した。
• フォーマット変換、文分割、言語検出、ノイズフィルタリング、重複除去、ドキュメント境界の保持を含む、複数段階のクリーニングパイプラインを適用した。
• CBOWおよびスキップグラムアーキテクチャを用い、50、100、300次元のFastText単語およびサブワード埋め込みを生成した。
• サブワード構造をモデル化するために、10,000語（医療）および8,000語（臨床）の語彙サイズを用いたバイトペアエンコーディング（BPE）を適用した。
• 臨床埋め込みのプライバシーリスク低減のため、語の出現頻度の閾値を4に設定した。

実験結果

リサーチクエスチョン

• RQ1 より大きなドメイン特化型スペイン語コーパスは、医療および臨床用単語埋め込みの質を向上させることができるか？
• RQ2 スペイン語医療NLPタスクにおいて、サブワード（BPE）埋め込みは標準的な単語埋め込みと比べてどのように異なるか？
• RQ3 提案された埋め込みは、標準化されたベンチマークで、従来のバージョンをどの程度上回るか？
• RQ4 機密性の高い臨床データで学習された埋め込みは、プライバシー漏洩のリスクを最小限に抑えながらも、実用性を維持できるか？
• RQ5 スペイン語医療NLPにおいて、大文字小文字区別あり処理と区別なし処理のどちらが性能に与える影響が大きいのか？

主な発見

• v3.0医療単語埋め込みは、スキップグラム法を用いて、大文字小文字区別ありの検証セットで90.91%、テストセットで89.40%の正答率を達成した。
• 区別なしバージョンは、スキップグラムを用いて検証セットで89.97%、テストセットで89.66%の正答率を記録し、優れた一般化性能を示した。
• v1.0およびv2.0と比較して、性能が顕著に向上しており、より大きな多様なコーパスの恩恵が確認された。
• 医療コーパス（1.1Bトークン）は、論文発表時における最大のスペイン語医療コーパスであった。
• 臨床埋め込みは、稀な語の露出リスク低減のため、より高い語頻度閾値（4）を設定して学習された。
• すべての埋め込みは、一般公開用リポジトリのZenodoにオープンアクセスリソースとしてリリースされた。