[論文レビュー] Nutribullets Hybrid: Multi-document Health Summarization

Darsh Shah, Lili Yu+2 more|arXiv (Cornell University)|Apr 8, 2021

Topic Modeling参考文献 33被引用数 5

ひとこと要約

本稿では、抽出された関係に基づく決定的ルールによるコンテンツ選択と、テキスト埋め込み型言語モデルによる表面的表現生成を分離することで、忠実性・集約感受性に優れた要約を生成する、ハイブリッドニューラル・シンボリック枠組み「Nutribullets Hybrid」を提案する。これは、栄養研究など低リソースで一貫性に欠ける健康分野において、最先端のベースラインと比較して20%高い集約感受性、7%高い関連性、7%高い忠実性を達成している。

ABSTRACT

We present a method for generating comparative summaries that highlights similarities and contradictions in input documents. The key challenge in creating such summaries is the lack of large parallel training data required for training typical summarization systems. To this end, we introduce a hybrid generation approach inspired by traditional concept-to-text systems. To enable accurate comparison between different sources, the model first learns to extract pertinent relations from input documents. The content planning component uses deterministic operators to aggregate these relations after identifying a subset for inclusion into a summary. The surface realization component lexicalizes this information using a text-infilling language model. By separately modeling content selection and realization, we can effectively train them with limited annotations. We implemented and tested the model in the domain of nutrition and health -- rife with inconsistencies. Compared to conventional methods, our framework leads to more faithful, relevant and aggregation-sensitive summarization -- while being equally fluent.

研究の動機と目的

• 研究がしばしば矛盾または一致する結果を示す低リソースな健康分野において、比較的要約が不足しているという問題に対処すること。
• 複数の医療文書間の合意と矛盾を明示的に強調する要約システムを開発すること。
• 大規模な並列学習データに依存するのを減らすために、コンテンツ選択と表面的表現生成を分離すること。
• 新しい研究が追加された際に、従来の情報を保持・統合しつつ、要約の更新を効果的に行えるようにすること。
• 特に研究間で整合性が低い栄養分野において、忠実性と集約感受性を向上させること。

提案手法

• モデルはまず、CRFベースのエンティティ抽出器とBERTベースの関係分類器を用いて、入力のPubMed文書からエンティティ-関係タプルを抽出する。
• コンテンツ選択部は、決定的集約演算子（例：合意、矛盾）を適用して、顕著な関係およびそれらの比較的関係を特定する。
• 表面的表現部は、構造化された関係的出力を用いて、自然で流暢な要約を生成するテキスト埋め込み型言語モデルを用いる。
• モデルは、関係的タプル上でコンテンツ選択を最適化し、大規模なテキスト上で表面的表現を最適化することで、限定的な並列アノテーションを用いてエンドツーエンドで学習する。
• 人間が関与する制御を可能にするために、モデル全体の再トレーニングなしに、新しい集約ルールや推論論理を挿入できる。
• フレームワークは、新しい情報を統合しながら従来の発見を保持・正しく関連付けることで、要約の更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドニューラル・シンボリックアプローチは、低リソースな健康要約において、エンドツーエンドのニューラルモデルと比較して、より忠実で集約感受性に優れた要約を生成できるか？
• RQ2 限定的なアノテーションデータを用いて、複数の健康研究間の合意と矛盾をどれほど正確に検出し、表現できるか？
• RQ3 構造化された関係的コンテンツによってガイドされた場合、テキスト埋め込み型言語モデルはどれほど自然で事実に基づいた要約を生成できるか？
• RQ4 新しい研究（場合によっては矛盾する研究）が追加された際に、モデルは既存の要約を効果的に更新できるか？
• RQ5 コンテンツ選択と表面的表現生成を分離することで、多文書要約における忠実性と集約感受性が向上するか？

主な発見

• モデルは、次に優れたベースラインと比較して20%高い集約感受性を達成し、合意や矛盾の検出・表現能力に優れていることが示された。
• 標準的および更新設定の両方において、最先端のベースラインと比較して、コンテンツの関連性が7%向上し、入力文書への忠実性が7%向上した。
• 情報抽出パイプラインは、エンティティ抽出で79%のF1スコア、関係分類で69%の正答率、集約演算子の同定で78%の正答率を達成した。
• 要約の更新においても高いパフォーマンスを維持し、新しい情報を正しく統合しながら、従来の発見を保持・正しく関連づけていた。
• 人間評価により、自己回帰的またはコピージェネレーションベースラインと比較して、モデルがより関連性が高く、忠実で、比較的関係に感受性がある要約を生成することが確認された。
• ハイブリッド設計により、限定的な並列データでも頑健なパフォーマンスを発揮し、類似した自然さを示すにもかかわらず、序列変換モデルを上回る忠実性と集約感受性を達成した。