[論文レビュー] Mind the Gap! Injecting Commonsense Knowledge for Abstractive Dialogue Summarization

Seungone Kim, Se June Joo+4 more|arXiv (Cornell University)|Sep 2, 2022

Topic Modeling被引用数 12

ひとこと要約

本稿では、会話要約における暗黙の意図や隠れた意味を捉える課題に対処するため、常識的知識を抽出的要約に組み込むSICKおよびSICK++というフレームワークを提案する。類似度に基づく常識的推論の選択と、常識的監視を用いたマルチタスク学習により、SICK++はSAMSumおよびDialogSumの強力なベースラインを上回り、特に低データ設定下でも、より情報量が多く一貫性のある要約を生成する。

ABSTRACT

In this paper, we propose to leverage the unique characteristics of dialogues sharing commonsense knowledge across participants, to resolve the difficulties in summarizing them. We present SICK, a framework that uses commonsense inferences as additional context. Compared to previous work that solely relies on the input dialogue, SICK uses an external knowledge model to generate a rich set of commonsense inferences and selects the most probable one with a similarity-based selection method. Built upon SICK, SICK++ utilizes commonsense as supervision, where the task of generating commonsense inferences is added upon summarizing the dialogue in a multi-task learning setting. Experimental results show that with injected commonsense knowledge, our framework generates more informative and consistent summaries than existing methods.

研究の動機と目的

• 会話における暗黙の意図や隠れた意味を捉える困難さに対処すること。
• 要約タスクにおける会話形式と文書形式の間の不一致を解消すること。
• 構造的な常識的知識の統合を通じて、抽出的会話要約の情報量と一貫性を向上させること。
• 常識的知識が、特に低データ環境下でモデル性能を向上させることを検証すること。
• マルチタスク学習の文脈で常識的知識を監視として用いる有効性を調査すること。

提案手法

• SICKは、外部の常識的知識モデル（例：COMET）を用いて、各発話に対して複数の出来事中心および社会的相互作用中心の推論を生成する。
• 類似度に基づく選択手法を適用し、最も関連性の高い常識的推論をフィルタリングし、会話入力の追加コンテキストとして選択する。
• SICK++は、二重デコーダー構造を導入することでSICKを拡張し、一方のデコーダーが黄金要約からターゲットの常識的推論を生成する。
• モデルは、会話要約と常識的生成のタスクを同時に学習するマルチタスク学習フレームワークで訓練され、知識の統合とエンコーダー表現の向上が図られる。
• BARTなどの事前学習モデルを活用し、常識的推論を追加の入力コンテキストおよび監視として統合する。
• 注目メカニズムの可視化とアブレーションスタディを用いて、モデルが統合された常識的知識をどれほど効果的に利用しているかを分析する。

実験結果

リサーチクエスチョン

• RQ1 常識的知識の統合は、抽出的会話要約の質と一貫性を向上させることができるか？
• RQ2 マルチタスク学習の文脈で常識的監視を用いることで、知識の活用と要約性能にどのような影響を与えるか？
• RQ3 提案されたフレームワークは、低データ学習条件下でも性能を向上させるか？
• RQ4 注目メカニズムは、モデルが統合された常識的推論にどれほど依存しているかをどのように反映しているか？
• RQ5 性能向上は常識的知識の統合によるものか、単に入力長の増加によるものか？

主な発見

• SICK++は、SAMSumおよびDialogSumの両ベンチマークでBART-xsumおよび他の強力なベースラインを上回り、優れた要約品質を示している。
• ゼロショット評価においても、SICKはBART-xsumを上回る性能を示しており、微調整なしでも常識的知識の統合が要約品質を向上させることを確認している。
• 訓練データの30％のみを用いても、SICK++はBART-xsumが70％のデータで学習した場合を上回る性能を示しており、優れたデータ効率性を示している。
• 注目可視化の結果、SICK++は後段の層で常識的推論に対して高い注目度を割り当てており、深い表現における知識統合の有効性が示唆されている。
• すべてのデータサイズにおいて、SICK++とBART-xsumの性能差が維持されており、常識的知識統合の堅牢性が確認されている。
• 人的評価により、SICK++が生成する要約はベースラインモデルのものよりも情報量が多く一貫性があることが確認された。