[論文レビュー] Biomedical and Clinical English Model Packages in the Stanza Python NLP Library

Yuhao Zhang, Yuhui Zhang+3 more|arXiv (Cornell University)|Jul 29, 2020

Topic Modeling参考文献 34被引用数 16

ひとこと要約

この論文は、多様なオープンで大規模な生物医学および臨床テキストデータセットを用いてトレーニングされた完全ニューラルアーキテクチャに裏付けられた、Stan路上での生物医学および臨床英語NLPモデルパッケージを紹介する。これらのモデルは構文解析および名前付きエンティティ認識（NER）において最先端の性能を達成し、StanzaのネイティブPythonインターフェースとのシームレスな統合により、特にGPUアクセラレーションを活用した高速性を維持している。

ABSTRACT

We introduce biomedical and clinical English model packages for the Stanza Python NLP library. These packages offer accurate syntactic analysis and named entity recognition capabilities for biomedical and clinical text, by combining Stanza's fully neural architecture with a wide variety of open datasets as well as large-scale unsupervised biomedical and clinical text data. We show via extensive experiments that our packages achieve syntactic analysis and named entity recognition performance that is on par with or surpasses state-of-the-art results. We further show that these models do not compromise speed compared to existing toolkits when GPU acceleration is available, and are made easy to download and use with Stanza's Python interface. A demonstration of our packages is available at: http://stanza.run/bio.

研究の動機と目的

• 既存の汎用NLPライブラリでは、生物医学および臨床テキストに特化した高パフォーマンスでアクセス可能なNLPツールの不足に対処すること。
• StanzaのニューラルNLPパイプラインに、生物医学および臨床英語テキストのドメイン固有モデルを拡張し、構文解析および名前付きエンティティ認識の精度を向上させること。
• 特にGPUアクセラレーションを活用した高速処理を維持することで、実世界の応用における実用性を確保すること。
• 研究者や開発者が最先端の生物医学および臨床NLPモデルにアクセス・デプロイできる統一的で使いやすいPythonインターフェースを提供すること。
• レポーティングレポートを含む、研究および臨床テキスト処理をサポートする専用モデルを提供すること、特にレポーティングレポートに特化した新しいモデルを含む。

提案手法

• 生物医学および臨床テキストを用いて、Universal Dependencies v2形式に基づく完全ニューラル構文解析パイプライン（トークン化、品詞タグ付け、語形還元、依存解析）をトレーニングする。
• CRAFTやGENIAなどの公開済みツリークイーンを活用し、臨床構文モデリング用にMIMIC-III臨床データベースからシルバースタンダードのトレーニングデータを生成する。
• 文脈を考慮した表現を用いて8つの生物医学NERモデルと2つの臨床NERモデルをトレーニングし、特にレポートレポートに特化した新しいモデルを含む。
• 統一インターフェースを備えたStanzaの既存PythonNLPフレームワークにモデルを統合し、生テキストおよび事前トークン化済み入力を両方サポートする。
• 文字列シーケンス上で軽量な再帰的ニューラルネットワークを用いて、トークン化と文分割を統合的にモデリングする。
• 双アフィンスコアリング機構を適用して、汎用（UPOS）と言語固有（XPOS）の品詞タグ間の整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 完全ニューラルNLPパイプラインは、生物医学および臨床テキストにおける構文解析および名前付きエンティティ認識で最先端の性能を達成できるか？
• RQ2 CoreNLP、scispaCy、BioBERTなどの既存のツールキットと比較して、Stanzaの生物医学および臨床モデルの正確性と速度はどの程度か？
• RQ3 CPUオンリーエグゼキューションと比較して、GPUアクセラレーションはこれらのモデルの推論速度をどの程度向上させるか？
• RQ4 複雑な設定を必要とせず、統一されたPythonインターフェースを通じて簡単にデプロイ可能な状態で、これらのモデルは高い正確性を維持できるか？
• RQ5 例えば、レポートレポートに特化したモデルを含めることで、臨床テキストにおけるNER性能が顕著に向上するか？

主な発見

• Stanzaの生物医学および臨床モデルパッケージは、ベンチマークデータセットにおいて、構文解析およびNER性能が最先端の結果と同等またはそれを上回っている。
• CRAFT生物医学NERテストセットではベースラインモデル比で2.91 F1ポイントの向上を達成し、臨床JNLPBAデータセットでは1.94 F1ポイントの向上を達成した。
• GPUアクセラレーションを活用した場合、Stanzaの構文解析はscispaCyと同等の性能を示し、NERモデルはBioBERTよりも著しく高速である。CPU上では14.8倍速く、GPU上ではscispaCy比0.95倍の速度で処理可能である。
• GPUを用いても高い速度を維持しており、構文解析ではCPUオンリーエグゼキューション比で1.42倍の高速化が達成され、NERではscispaCy比0.95倍の高速化がGPU上で達成された。
• tokenize_pretokenizedフラグを介して、生テキストおよび事前トークン化済み入力を両方サポートしており、外部のトークン化パイプラインとの統合を可能にしている。
• モデルはシンプルなPythonインターフェースで利用可能であり、stanza.download() や Pipeline() といったコマンドにより、簡単なデプロイと利用が可能である。