[論文レビュー] Claim Extraction in Biomedical Publications using Deep Discourse Model and Transfer Learning

Titipat Achakulvisut, Chandra Bhagavatula+1 more|arXiv (Cornell University)|Jul 1, 2019

Topic Modeling参考文献 37被引用数 19

ひとこと要約

本論文は、1,500件の専門家アノテーション付きバイオメディカル要約の新しいデータセットを紹介し、事前学習された言語表現を用いた転移学習を統合したディープディスcourseモデルを提案する。この手法は、転移学習を用いないベースラインと比較してF1スコアで14.1ポイント向上を達成し、科学文献からの主張抽出における転移学習の有効性を示している。

ABSTRACT

Claims are a fundamental unit of scientific discourse. The exponential growth in the number of scientific publications makes automatic claim extraction an important problem for researchers who are overwhelmed by this information overload. Such an automated claim extraction system is useful for both manual and programmatic exploration of scientific knowledge. In this paper, we introduce a new dataset of 1,500 scientific abstracts from the biomedical domain with expert annotations for each sentence indicating whether the sentence presents a scientific claim. We introduce a new model for claim extraction and compare it to several baseline models including rule-based and deep learning techniques. Moreover, we show that using a transfer learning approach with a fine-tuning step allows us to improve performance from a large discourse-annotated dataset. Our final model increases F1-score by over 14 percent points compared to a baseline model without transfer learning. We release a publicly accessible tool for discourse and claims prediction along with an annotation tool. We discuss further applications beyond biomedical literature.

研究の動機と目的

• バイオメディカル文献における情報過多の増大に伴う課題に対処し、科学的主張の自動抽出を可能にする。
• 1,500件のバイオメディカル要約を含む大規模で専門家がアノテートしたデータセットを構築する。
• ディスコース構造と事前学習された言語表現からの転移学習を活用した主張抽出のためのディープラーニングモデルを開発する。
• ルールベースおよび非転移学習のディープラーニングベースラインを上回る主張抽出のパフォーマンスを向上させる。

提案手法

• 著者らは、各文が主張であるか否かをラベル付けした1,500件のバイオメディカル要約の新しいデータセットを導入する。
• 序列ラベル付けに、ディスコースアノテーション済みPubMedデータセットで事前学習したBi-LSTMと条件付き確率場（CRF）アーキテクチャを採用する。
• 転移学習は、一般的なディスコース表現を主張検出に適応させるために、新しい主張アノテーション済みデータセット上で事前学習済みのBi-LSTM-CRFモデルを微調整することで実施する。
• モデルは事前学習済みの単語埋め込み（GloVeおよびPubMed特化型）を用い、交差エントロピー損失とCRFデコードを用いてエンドツーエンドで学習する。
• 専門家によるアノテーションを支援するためのアノテーションツールを開発し、アノテーター間一貫性のチェックを実施し、高品質なデータを確保する。
• 公開可能なウェブサービスとコードベースをリリースし、ディスコースおよび主張予測のためのツールを提供する。

実験結果

リサーチクエスチョン

• RQ1 大規模なディスコースアノテーション済みデータセットからの転移学習は、バイオメディカル文献における主張抽出のパフォーマンスを向上させることができるか？
• RQ2 転移学習を用いたディープラーニングモデルは、ルールベースおよび非転移学習のディープラーニングベースラインと比較して、主張抽出においてどのように性能を発揮するか？
• RQ3 事前学習済み単語埋め込み（例：GloVe対PubMed特化型）は、主張検出のパフォーマンスにどのような影響を与えるか？
• RQ4 構造化された要約で学習したモデルは、完全な科学的要約における主張検出にどの程度一般化可能か？
• RQ5 提案されたフレームワークは、バイオメディスンを越えた他の科学分野へも拡張可能か？

主な発見

• 提案された転移学習ベースのモデルは、転移学習を用いないベースラインモデルと比較してF1スコアで14.1ポイント向上した。
• ルールベース手法と比較してF1スコアで47%の向上を達成し、転移学習を組み合わせたディープラーニングの優位性を示した。
• 新しい主張アノテーション済みデータセット上でBi-LSTM-CRFモデルを微調整することで、性能が顕著に向上した。これは、有効な知識転送が実現されたことを示している。
• GloVe単語埋め込み（300次元）は、PubMed特化型の単語ベクトル（200次元）よりも優れたパフォーマンスを示した。これは、より大きなコーパスサイズとより良い共起モデリングによるものと推定される。
• モデルは、要約の後半の文を主張とラベル付けする傾向がわずかに強く、これはバイオメディカル論文では一般的であるが、他の分野への一般化には適さない可能性がある。
• 著者らは、公開データセット、コード、および主張およびディスコース予測用のウェブベースツールをリリースし、コミュニティによる拡張と再利用を可能にした。