[論文レビュー] Query-focused Extractive Summarisation for Biomedical and COVID-19 Complex Question Answering

Diego Mollá|arXiv (Cornell University)|Sep 5, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文は、BioASQチャレンジにおいて、バイオメディカルおよびCOVID-19関連の質問応答の文書要約のためのマククィアリー大学のクエリ指向抽出要約アプローチを提示する。この手法は、質問に関連する文のスコア付けにDistilBERTおよびsBERT埋め込みを用い、上位スコアの文が答えを形成する。主な発見は、BioASQ10bの学習データの後半部分で学習を行うと性能が向上することであり、これは初期の学習サンプルにバイアスが存在する可能性を示唆している。

ABSTRACT

This paper presents Macquarie University's participation to the two most recent BioASQ Synergy Tasks (as per June 2022), and to the BioASQ10 Task~B (BioASQ10b), Phase~B. In these tasks, participating systems are expected to generate complex answers to biomedical questions, where the answers may contain more than one sentence. We apply query-focused extractive summarisation techniques. In particular, we follow a sentence classification-based approach that scores each candidate sentence associated to a question, and the $n$ highest-scoring sentences are returned as the answer. The Synergy Task corresponds to an end-to-end system that requires document selection, snippet selection, and finding the final answer, but it has very limited training data. For the Synergy task, we selected the candidate sentences following two phases: document retrieval and snippet retrieval, and the final answer was found by using a DistilBERT/ALBERT classifier that had been trained on the training data of BioASQ9b. Document retrieval was achieved as a standard search over the CORD-19 data using the search API provided by the BioASQ organisers, and snippet retrieval was achieved by re-ranking the sentences of the top retrieved documents, using the cosine similarity of the question and candidate sentence. We observed that vectors represented via sBERT have an edge over tf.idf. BioASQ10b Phase B focuses on finding the specific answers to biomedical questions. For this task, we followed a data-centric approach. We hypothesised that the training data of the first BioASQ years might be biased and we experimented with different subsets of the training data. We observed an improvement of results when the system was trained on the second half of the BioASQ10b training data.

研究の動機と目的

• COVID-19および一般バイオメディスンの文脈における、複雑なバイオメディカル質問応答のための堅牢でエンドツーエンドのシステムの開発。
• 文のスコア付けおよび検索段階の最適化を通じて、クエリ指向抽出要約における答えの品質の向上。
• 学習データの構成がモデル性能に与える影響、特にデータバイアスの存在下での影響の調査。
• スニペット検索における異なる埋め込みモデル（sBERT対tf.idf）および再順序付け戦略の有効性の評価。
• データ中心のアプローチ（例：訓練データの選択的使用）が、標準的な訓練レジームを上回る可能性があるかどうかの特定。

提案手法

• 本システムは、与えられた質問に対する関連性に基づいて候補文をスコア化する文分類ベースの抽出要約フレームワークを採用する。
• 文の埋め込みはDistilBERTまたはALBERTを用いて生成され、単語埋め込みの平均プーリングを適用して文レベルの表現を形成する。
• 文の位置は離散トークンとして符号化され、文の埋め込みと連結され、モデル性能の向上を図る。
• ReLUおよびシグモイド活性化関数を備えた多層パーセプトロンを用いて、各文を関連するか否かとして分類し、上位-n個のスコアの文が最終的な答えを形成する。
• スニペット検索では、質問と文の埋め込み間のコサイン類似度が用いられ、sBERTがtf.idfベースのベクトルを上回る性能を示した。
• データ中心の戦略がBioASQ10bフェーズBで適用され、学習データが段階的に前半から除外されて、バイアスと性能への影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 バイオメディカル質問応答において、sBERT埋め込みを用いることでtf.idfに基づくアプローチに比べてスニペット検索性能が向上するか？
• RQ2 データ中心のアプローチ（具体的には、学習データの後半部分での学習）が、BioASQ10bフェーズBにおけるモデルの汎化性能と性能向上に寄与するか？
• RQ3 エンドツーエンドの質問応答システムにおいて、取得された文書およびスニペットの品質が最終的な答えの品質にどの程度影響を及えるか？
• RQ4 初期の学習サンプルにデータバイアスが存在する証拠は、それらのサンプルを含めた場合の性能低下によって示唆されるか？
• RQ5 異なるハイパーパrameter設定が、全データ対部分データでの学習において、モデル性能にどのように影響を与えるか？

主な発見

• 文の類似度にsBERT埋め込みを用いることで、スニペット検索においてtf.idfベースのアプローチを顕著に上回り、より良い意味的整合性が得られた。
• 交差検証で最高の性能を示したモデルは、BioASQ10b学習データの後半50%のみで学習した結果、ROUGE-SU4 F1が0.311を達成したが、初期データで学習した場合のスコアは低かった。
• 後半データでの学習で強い交差検証結果が得られたにもかかわらず、提出された実行結果では、全データまたは後半50%での学習の間で性能にほとんど差がなく、両者ともバッチごとに類似したF1スコアを達成した。
• 最終的なシステム出力は、学習データサブセットにかかわらずほぼ同一であり、訓練データサブセットに関係なく予測に高い一貫性があることを示した。
• ハイパーパrameterチューニングの結果、ドロップアウト=0.6および1エポックの学習が、全データおよび部分データの両方の設定で最適な結果をもたらした。
• 結果から、BioASQ10b学習データの初期サンプルにバイアスが存在するか、代表的でない可能性があり、それらを除外することで性能が向上したことが示唆された。