[論文レビュー] Biomedical text summarization using Conditional Generative Adversarial Network(CGAN)

Seyed Vahid Moravvej, Abdolreza Mirzaei+1 more|arXiv (Cornell University)|Sep 17, 2021

Topic Modeling被引用数 24

ひとこと要約

本稿では、畳み込みニューラルネットワークを用いた条件付き生成対抗ネットワーク（CGAN）を用いた、新しい教師あり抽出型バイオメディカルテキスト要約手法を提案する。本手法は、新たな文選択戦略、バイオメディカル用語向けのワード埋め込みモデル、およびカスタマイズされた識別器損失関数を導入し、医療データセットを用いたROUGE指標評価において、競合モデル比で平均5%の向上を達成した。

ABSTRACT

Text summarization in medicine can help doctors for reducing the time to access important information from countless documents. The paper offers a supervised extractive summarization method based on conditional generative adversarial networks using convolutional neural networks. Unlike previous models, which often use greedy methods to select sentences, we use a new approach for selecting sentences. Moreover, we provide a network for biomedical word embedding, which improves summarization. An essential contribution of the paper is introducing a new loss function for the discriminator, making the discriminator perform better. The proposed model achieves results comparable to the state-of-the-art approaches, as determined by the ROUGE metric. Experiments on the medical dataset show that the proposed method works on average 5% better than the competing models and is more similar to the reference summaries.

研究の動機と目的

• 大規模なバイオメディカル文献からキーメッセージを的確に抽出し、臨床意思決定支援に効率的に活用する課題に対処すること。
• 従来の抽出型要約モデルにおけるグリーディ文選択の限界を克服すること。
• バイオメディカルテキストに特化した新しい条件付きGANアーキテクチャを用いて、要約性能を向上させること。
• 表現学習の向上を図るためのドメイン特化型バイオメディカルワード埋め込みモデルの開発。
• 敵対的学習を強化し、要約品質を向上させるために、新しい識別器損失関数の設計。

提案手法

• 生成器が条件付き文脈に基づき、バイオメディカル文書から重要な文を抽出するように学習する条件付きGANフレームワークを採用する。
• 入力テキストからの局所的特徴抽出と文表現の符号化に、畳み込みニューラルネットワーク（CNN）を用いる。
• 生成器の出力分布を活用して高相関文を優先する戦略を導入し、グリーディ選択に代わる新しい文選択メカニズムを実装する。
• 実際の要約と生成された要約をより明確に区別できるようにするため、識別器にカスタマイズされた損失関数を導入し、学習の安定性と品質を向上させる。
• 医療コーパス上で学習させたドメイン特化型ワード埋め込みモデルを用いて、医療用語の意味的表現を向上させる。
• 生成器と識別器を敵対的学習により同時に訓練し、生成器はROUGEに基づく報酬を最適化することで、要約を参照出力と一致させるように最適化する。

実験結果

リサーチクエスチョン

• RQ1 条件付きGANフレームワークは、従来の抽出型モデルを上回る抽出型バイオメディカルテキスト要約性能を実現できるか？
• RQ2 グリーディ選択と比較して、非グリーディでGANベースの文選択戦略は、要約品質においてどのように異なるか？
• RQ3 ドメイン特化型バイオメディカルワード埋め込みは、要約性能にどの程度寄与するか？
• RQ4 再設計された識別器損失関数は、識別器の性能向上と、より高品質な要約の生成に寄与するか？
• RQ5 標準的なROUGE指標評価において、提案手法は最先端の手法と比較してどの程度優れているか？

主な発見

• 提案手法は、競合モデル比でバイオメディカルデータセット上でのROUGEスコアで平均5%の向上を達成した。
• ROUGE評価により確認されたように、本手法は人間が作成した基準要約に近い要約を生成した。
• カスタマイズされた識別器損失関数は、実際の要約と生成された要約を識別する能力を向上させ、より効果的な敵対的学習を実現した。
• バイオメディカル用語の意味的表現が向上したため、医療用語の表現学習に貢献し、要約の関連性が向上した。
• 非グリーディ文選択戦略は、より一貫性があり情報量の多い文の組み合わせを捉えることができ、グリーディ手法を上回った。
• 多様なバイオメディカル文書に対して安定した性能を示し、強力な一般化能力を有していることが示された。