[論文レビュー] Clustering of Deep Contextualized Representations for Summarization of Biomedical Texts

Milad Moradi, Matthias Samwald|arXiv (Cornell University)|Aug 6, 2019

Topic Modeling被引用数 5

ひとこと要約

本稿では、外部のドメイン知識を必要とせずに、生物学的・医学的テキスト要約のための文のクラスタリングとランク付けに、深層コンテキスト埋め込みを活用するBERTベースの要約手法を提案する。BERT埋め込みを用いて文の類似性と情報量を測定することで、ベースライン手法に比べて要約性能が向上し、コンテキストに依存する表現だけで生物学的文脈を効果的に捉えられることを示している。

ABSTRACT

In recent years, summarizers that incorporate domain knowledge into the process of text summarization have outperformed generic methods, especially for summarization of biomedical texts. However, construction and maintenance of domain knowledge bases are resource-intense tasks requiring significant manual annotation. In this paper, we demonstrate that contextualized representations extracted from the pre-trained deep language model BERT, can be effectively used to measure the similarity between sentences and to quantify the informative content. The results show that our BERT-based summarizer can improve the performance of biomedical summarization. Although the summarizer does not use any sources of domain knowledge, it can capture the context of sentences more accurately than the comparison methods. The source code and data are available at https://github.com/BioTextSumm/BERT-based-Summ.

研究の動機と目的

• 手動で構築されたドメイン知識ベースのコストの高い構築を回避する、低リソースでドメインに依存しない生物学的・医学的テキスト要約手法の開発。
• 事前学習済みBERT表現が、生物学的文脈における文の類似性と情報量を効果的に捉えられるかを調査すること。
• 既存の汎用的およびドメイン特化型要約手法と比較して、BERTベースのクラスタリング手法の性能を評価すること。
• コンテキストに依存する埋め込み表現のみで、明示的なドメイン知識なしに競争力のある要約結果を達成できるかを実証すること。

提案手法

• 生物学的ドメインの文を表現するために、事前学習済みBERTモデルからのコンテキストに依存する埋め込みを活用する。
• BERT埋め込みを用いて、意味的に類似した文をグループ化し、代表的な内容を特定するクラスタリング技術を適用する。
• クラスタ内の中心性と埋め込み表現から推定される情報量に基づいて、文をランク付けする。
• クラスタ化された表現から、高インパクトで多様な文を選択する文選択戦略を適用する。
• ドメイン固有のデータでの微調整なしに、標準的な生物学的要約ベンチマークでモデルをエンドツーエンドで訓練・評価する。
• 文の関連性と重複度を推定するために、BERT埋め込みの意味的豊かさにのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 外部のドメイン知識を追加せずに、BERTベースのコンテキストに依存する表現が、生物学的テキストにおける文の類似性を効果的に測定できるか。
• RQ2 BERT埋め込みのクラスタリングは、生物学的文書における自動要約の質をどの程度向上できるか。
• RQ3 外部のドメイン知識ベースに依存する手法と比較して、BERTオンリーモデルの要約性能はどのように異なるか。
• RQ4 明示的な特徴工学なしに、埋め込みベースのクラスタリングによって情報量のあるコンテンツを定量化できるか。

主な発見

• BERTベースの要約手法は、生物学的テキスト要約の自動評価指標において、汎用ベースライン手法を上回る性能を示した。
• 手動で構築されたドメイン知識や外部リソースを一切使用していないにもかかわらず、競争力のある性能を達成した。
• コンテキストに依存する表現のクラスタリングは、顕著で重複のない文を効果的に特定し、要約の整合性とカバレッジを向上させた。
• ROUGEスコアの向上が示すように、本手法は比較手法よりも生物学的言語の文脈的ニュアンスをより正確に捉えた。