[論文レビュー] Query Focused Multi-document Summarisation of Biomedical Texts

Diego Mollá, Christopher Jones+1 more|arXiv (Cornell University)|Aug 27, 2020

Topic Modeling参考文献 12被引用数 5

ひとこと要約

本論文では、BERTベースの文埋め込みとLSTM符号化を用いた、バイオメディカルテキスト向けのクエリ焦点型マルチドキュメント抽出要約システムを提示している。このシステムはBioASQ8bチャレンジで評価された。最高の性能は、BERTによる単語埋め込みに続いてLSTMによる文符号化を適用したモデルで、BioBERT、シアンプスアーキテクチャ、強化学習アプローチを上回った。

ABSTRACT

This paper presents the participation of Macquarie University and the Australian National University for Task B Phase B of the 2020 BioASQ Challenge (BioASQ8b). Our overall framework implements Query focused multi-document extractive summarisation by applying either a classification or a regression layer to the candidate sentence embeddings and to the comparison between the question and sentence embeddings. We experiment with variants using BERT and BioBERT, Siamese architectures, and reinforcement learning. We observe the best results when BERT is used to obtain the word embeddings, followed by an LSTM layer to obtain sentence embeddings. Variants using Siamese architectures or BioBERT did not improve the results.

研究の動機と目的

• ニューラルアーキテクチャを用いて、バイオメディカルテキスト向けのクエリ焦点型マルチドキュメント要約システムを開発すること。
• BERTとBioBERTがバイオメディカル質問応答タスクにおける要約パフォーマンスの向上に寄与するかを評価すること。
• シアンプスアーキテクチャやPPOを用いた強化学習が、抽出要約におけるパフォーマンスを向上させるかを調査すること。
• マルチドキュメント要約における文スコアリングに、分類と回帰の設定を比較すること。
• 臨床的または診断的クエリに基づくPubMedアブストラクトを要約するための最適なモデル設定を同定すること。

提案手法

• システムは、質問と候補文の両方の文にBERTを用いて文脈に応じた単語埋め込みを生成する。
• 文の埋め込みは、BERTの埋め込みに双方向LSTM層を適用することで得られる。
• 最終段階の分類または回帰層が、質問の埋め込みとの類似度に基づいて各候補文をスコア付けする。
• シアンプスアーキテクチャでは、質問と文のエンコーダー間で重みを共有し、文のペア類似度にはSentence-BERTが用いられる。
• 強化学習では、プロキシマルポリシーオプティマイゼーション（PPO）を用いて、高ROUGEスコアの文を選択する方策ネットワークを学習する。
• 最終的な要約は、スコアの上位-n個の文を選択することで生成され、nはクエリの種別（例：要約用に6、事実系用に2）によって決定される。

実験結果

リサーチクエスチョン

• RQ1 word2vecと比較して、BERTを単語埋め込みに用いることで、バイオメディカルテキストにおける抽出要約パフォーマンスが向上するか？
• RQ2 バイオメディカルテキストで微調整されたBioBERTは、標準BERTよりも優れた要約結果をもたらすか？
• RQ3 シアンプスアーキテクチャやSentence-BERTは、クエリ焦点型要約における文の関連性スコアリングを改善できるか？
• RQ4 PPOを用いた強化学習は、教師あり分類または回帰よりも優れた要約パフォーマンスをもたらすか？
• RQ5 このタスクにおいて、BERT + LSTMの組み合わせは、他のアーキテクチャと比較して文表現に優れているか？

主な発見

• 最高のパフォーマンスを示したモデルは、BERTによる単語埋め込みに続いてLSTMによる文符号化を適用したもので、NNR設定（バッチ3）でROUGE-SU4 F1が0.3729を達成した。
• BioBERTの使用はパフォーマンスを向上させず、逆に低いスコア（例：マルチタスクSBioBERT C 20エポックで0.2527）を示した。
• シアンプスアーキテクチャおよびSBERTベースのモデルは、未微調整BERTモデルと同等または劣る性能を示した。これは、質問と文の間でスタイルの違いがあるため、両者の共通処理が非効率である可能性を示唆している。
• PPOを用いた強化学習は、最低の評価スコア（例：バッチ4で0.2585）を示したが、人的評価ではより高品質な要約が得られる可能性がある。
• マルチタスク学習設定（分類と回帰を同時に学習）は、単一タスクモデルを上回り、バッチ3でROUGE-SU4 F1が0.3506を達成した。
• 分類設定（NNC）はほとんどの実験で最良の結果を示し、交差検証の結果とも整合的であった。一方、回帰設定（NNR）は多くの場合で2番目に優れた性能を示した。