[論文レビュー] Automatic Text Summarization of COVID-19 Medical Research Articles using BERT and GPT-2

Virapat Kieuvongngam, Bowen Tan+1 more|arXiv (Cornell University)|Jun 3, 2020

Topic Modeling参考文献 8被引用数 82

ひとこと要約

本論文は、キーワードセットを要約へマッピングすることで、COVID-19論文の抽象的要約のためにDistilGPT-2を微調整し、マルチタスク損失とROUGE評価を用いる。CORD-19データ上で抽象的要約を抽出的基準と比較する。

ABSTRACT

With the COVID-19 pandemic, there is a growing urgency for medical community to keep up with the accelerating growth in the new coronavirus-related literature. As a result, the COVID-19 Open Research Dataset Challenge has released a corpus of scholarly articles and is calling for machine learning approaches to help bridging the gap between the researchers and the rapidly growing publications. Here, we take advantage of the recent advances in pre-trained NLP models, BERT and OpenAI GPT-2, to solve this challenge by performing text summarization on this dataset. We evaluate the results using ROUGE scores and visual inspection. Our model provides abstractive and comprehensive information based on keywords extracted from the original articles. Our work can help the the medical community, by providing succinct summaries of articles for which the abstract are not already available.

研究の動機と目的

• 急速に増大するCOVID-19文献に対処し、要約がない論文に対して簡潔な要約を提供する。
• 抽出にはBERT、生成にはGPT-2を用いた事前学習済みNLPモデルを活用して抽象的要約を生成する。
• キーワード-to-要約の微調整アプローチをマルチタスク損失とともに開発する。
• ROUGEと定性的検査を用いて、金標準の要約と抽象的要約を評価する。

提案手法

• DistilBERTを用いて教師なしの抽出的文埋め込みとK-medoidsクラスタリングを基準として抽出的要約を作成する。
• 名詞および動詞から派生したキーワード入力から抽象的要約を生成するためにDistilGPT-2を微調整する。
• 言語モデル損失と多肢選択損失を組み合わせたマルチタスク損失で訓練し、キーワードと要約を区切る特別な <|summarize|> トークンを使用する。
• キーワードを金標準要約と誤記要約（ディストラクター）と対を為して4択のマルチプルチョイス設定の訓練サンプルを作成する。
• 生成にはトップ-pサンプリングと温度スケーリングを統合し、ROUGEスコアで評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みGPT-2モデルのキーワード-to-要約微調整が、COVID-19文献の一貫した抽象的要約を生成できるか。
• RQ2 キーワードの種類（名詞、動詞、または両方）が抽象的要約の品質に与える影響は何か。
• RQ3 DistilGPT-2によって生成された抽象的要約は、ROUGEスコアにおいて抽出的ベースラインとどう比較されるか。
• RQ4 より長い微調整は入力キーワードと生成要約の整合性を改善するか。

主な発見

• 60%圧縮の抽出的要約は40%圧縮よりROUGEスコアが高く、ROUGEでは抽象的結果を上回る。
• エポック数とキーワードの増加に伴い抽象的GPT-2要約は改善するが、ROUGEの利得は抽出的ベースラインと比較して限定的である可能性がある。
• 名詞をキーワードとして使用する（動詞の有無にかかわらず）は、動詞のみを使用する場合より一般にROUGEスコアを改善する。
• トップ-pサンプリングは読みやすさと抽象的品質でグリーディデコードを上回り、ROUGEスコアは類似。
• アテンション可視化は微調整によって後方層でキーワード–要約の関係を強化することを示している。