[論文レビュー] Benchmarking BioRelEx for Entity Tagging and Relation Extraction

Abhinav Bhatt, Kaustubh Dhole|arXiv (Cornell University)|May 31, 2020

Topic Modeling参考文献 21被引用数 4

ひとこと要約

本稿は、最近リリースされたBioRelExデータセットを用いて、複数のエンティティタギングおよび関係抽出モデルをベンチマークした。スパンベースのマルチタスクアーキテクチャ、特にDYGIEPPは、エンティティタギングと関係抽出の両面で、それぞれ前人最高の結果より4.9%および6%の絶対的Fスコア向上を達成した。本研究では、ドメイン特化型埋め込み（例：BioELMo）が、特にエンティティタギングにおいて性能を顕著に向上させることを示した。また、関係および共参照伝播を含むマルチタスク学習は、結果を向上させた。

ABSTRACT

Extracting relationships and interactions between different biological entities is still an extremely challenging problem but has not received much attention as much as extraction in other generic domains. In addition to the lack of annotated data, low benchmarking is still a major reason for slow progress. In order to fill this gap, we compare multiple existing entity and relation extraction models over a recently introduced public dataset, BioRelEx of sentences annotated with biological entities and relations. Our straightforward benchmarking shows that span-based multi-task architectures like DYGIE show 4.9% and 6% absolute improvements in entity tagging and relation extraction respectively over the previous state-of-art and that incorporating domain-specific information like embeddings pre-trained over related domains boosts performance.

研究の動機と目的

• 最近リリースされたBioRelExデータセットを用いて、生物学的テキストにおけるエンティティタギングおよび関係抽出のためのより強固なベンチマークを確立すること。
• DYGIEのような現代的なスパンベースのマルチタスクアーキテクチャが、ドメイン特化型のバイオメディカルテキストにおいて効果的であるかを評価すること。
• ドメイン特化型埋め込みや関係・共参照伝播といったアーキテクチャ的要素が性能に与える影響を調査すること。
• BioRelExにおけるモデルおよび埋め込みの最適な構成を同定し、前人最高の結果を上回ること。

提案手法

• 本研究では、BiLSTM-CRF、BiGRU-CRF、CNN-CRF、および最先端のDYGIEPPを、BioRelExの検証セット上で評価した。
• GloVe、FastText、バイトペア、Flair、BioELMoといったさまざまな埋め込みを、異なるモデルアーキテクチャに組み込んで、その影響を評価した。
• 著者らは、ELMo、GloVe、および文字レベルの埋め込みを入力特徴として用い、エンティティタギング、関係抽出、共参照解決の共同最適化を含むマルチタスク学習を実施した。
• 共参照および関係伝播メカニズムは、スパン表現学習への寄与を特定するために体系的に評価された。
• ハイパーパramータチューニングが実施され、BiLSTM部の隠れユニット数および層数の調整が行われ、400ユニットと2層が最適とされた。
• 性能評価は、Khachatrianら（2019）が提供する公式評価スクリプトを用いて、マイクロ平均の精度、再現率、F1スコアで実施された。

実験結果

リサーチクエスチョン

• RQ1 DYGIEPPのようなスパンベースのマルチタスクアーキテクチャは、BioRelExデータセットにおいて、BiLSTM-CRFのような従来のモデルを上回ることができるか？
• RQ2 BioELMoのようなドメイン特化型埋め込みは、BioRelExにおけるエンティティタギングおよび関係抽出の性能をどの程度向上させるか？
• RQ3 関係および共参照伝播といったアーキテクチャ的要素は、BioRelExにおけるモデル性能にどのように影響を与えるか？
• RQ4 このバイオメディカルNLPベンチマークにおいて、ELMo や BioELMo のような文脈埋め込みが、BERT や SciBERT を上回る性能を示すか？
• RQ5 データ変換の問題により評価に差異が生じる可能性はあり、それが性能比較にどのように影響を与えるか？

主な発見

• DYGIEPPは、BioRelExデータセットにおいて、前人最高の結果よりエンティティタギングで4.9%、関係抽出で6%の絶対的Fスコア向上を達成した。
• BioELMo埋め込みの使用により、標準的なELMo埋め込みと比較して、エンティティタギングで1.7%の絶対的Fスコア向上が得られた。
• 共参照伝播はエンティティタギングおよび関係抽出の両方の性能を向上させたが、関係伝播は関係抽出においてより顕著な正の効果を示した。
• ELMo、GloVe、および文字レベル埋め込みを組み合わせたマルチタスクアーキテクチャは、GLUEとは対照的に、このベンチマークではBERTおよびSciBERTを上回った。
• 評価スクリプトのデータ変換プロセスにわずかな差異が生じる可能性があり、トレーニングセットでは最大F1スコアが約91.2%に制限される可能性があるが、相対的なモデル順位は安定している。
• BiLSTMの層数および隠れユニット数を増加させることで性能が向上し、400ユニットと2層が最良の結果を得るための最適とされた。