[論文レビュー] Summarization Programs: Interpretable Abstractive Summarization with Neural Modular Trees

Swarnadeep Saha, Shiyue Zhang+2 more|arXiv (Cornell University)|Sep 21, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、要約生成をソース文書の文に対するニューラルモジュール操作（圧縮、言い換え、統合など）の木構造的連鎖として表現する、モジュラーで解釈可能な要約生成フレームワーク「要約プログラム（SPs）」を紹介する。SP-Searchは、人間の要約を高スコアの ROUGE で再現するSPを効率的に同定し、SPに基づくseq2seqモデルは解釈可能で追跡可能なプログラムを生成することで、モデルの解釈可能性と推論の追跡可能性を向上させる。

ABSTRACT

Current abstractive summarization models either suffer from a lack of clear interpretability or provide incomplete rationales by only highlighting parts of the source document. To this end, we propose the Summarization Program (SP), an interpretable modular framework consisting of an (ordered) list of binary trees, each encoding the step-by-step generative process of an abstractive summary sentence from the source document. A Summarization Program contains one root node per summary sentence, and a distinct tree connects each summary sentence (root node) to the document sentences (leaf nodes) from which it is derived, with the connecting nodes containing intermediate generated sentences. Edges represent different modular operations involved in summarization such as sentence fusion, compression, and paraphrasing. We first propose an efficient best-first search method over neural modules, SP-Search that identifies SPs for human summaries by directly optimizing for ROUGE scores. Next, using these programs as automatic supervision, we propose seq2seq models that generate Summarization Programs, which are then executed to obtain final summaries. We demonstrate that SP-Search effectively represents the generative process behind human summaries using modules that are typically faithful to their intended behavior. We also conduct a simulation study to show that Summarization Programs improve the interpretability of summarization models by allowing humans to better simulate model reasoning. Summarization Programs constitute a promising step toward interpretable and modular abstractive summarization, a complex task previously addressed primarily through blackbox end-to-end neural systems. Supporting code available at https://github.com/swarnaHub/SummarizationPrograms

研究の動機と目的

• エンドツーエンドの抽象的要約モデルにおける解釈不能性の問題に対処する。これらのモデルは、明確な推論トレースを伴わず、事実に反する内容を生成することが多い。
• 抽出的レゾネート（rationales）の限界を克服する。抽出的レゾネートは、生成プロセスそのものをモデル化せず、単にソースセグメントを強調するにとどまる。
• 実行可能なニューラルモジュールを用いて、段階的推論プロセスとして要約をモデル化するフレームワークを開発し、追跡可能で忠実な要約生成を可能にする。
• 人間ユーザーが中間表現として構造的で実行可能なプログラムを用いてモデルの推論をシミュレートし、理解できるようにする。

提案手法

• 要約プログラム（SPs）を、葉がソース文書の文、内部ノードがニューラルモジュールによる中間生成文、根が最終的要約文である順序付き二分木のリストとして定式化する。
• 忠実で事実に基づいた操作を実現するため、事前学習言語モデルで微調整された、タスク固有の3つのニューラルモジュール（文の圧縮、言い換え、統合）を設計する。
• ゴール要約に向かってROUGEスコアを最大化するように、優先度キューを維持するベストファースト探索アルゴリズム「SP-Search」を開発する。
• SP-Searchの出力を教師信号として用い、2つのseq2seqモデル（Extract-and-Build SP および Direct SP生成）を訓練し、ソース文書からSPを生成するように学習させる。
• 生成されたSPを同じニューラルモジュールを用いて実行することで、解釈可能性を保ちつつエンドツーエンドの学習と推論を可能にする。
• 人間参加者がSPを用いてモデルの推論をシミュレートするシミュレーションスタディを実施し、モデル行動の一般化性と予測可能性が向上することを示した。

実験結果

リサーチクエスチョン

• RQ1 人間が作成した抽象的要約の生成プロセスを忠実に表現する要約プログラム（SP）を自動的に同定することは可能か？
• RQ2 SPは、正確な要約を生成する解釈可能な実行可能プログラムを学習させるための効果的な中間表現として機能するか？
• RQ3 SPは、人間がモデルの推論パターンをシミュレートし一般化できるようにすることで、要約モデルの解釈性をどの程度向上させるか？

主な発見

• SP-Searchは、CNN/DailyMailおよびXSumデータセットにおいてベースライン手法を著しく上回り、高スコアのROUGEを達成して人間の要約を効果的に再構成した。
• 人間評価により、ニューラルモジュールがその意図した操作（例：圧縮、統合）に極めて忠実であり、事実に基づいた出力を生成することが確認された。
• シミュレーションスタディにおいて、SPはモデル推論の予測可能性を向上させた。61％のテストケースでROUGE-2スコアが向上（p < 0.001）し、SPが人間がモデル行動を一般化するのを支援することが示された。
• SPの主な誤りは、重複または長すぎるパス、および統合モジュールからの事実に反する出力であり、モジュール設計およびモジュールの組み合わせ方法の改善の余地があることを示唆した。
• SPは要約コンテンツがどのソース文に由来するかを追跡可能にするため、要約内の幻覚的または誤った内容のデバッグに道筋を提供する。
• 圧縮、言い換え、統合を超える他のテキスト操作を実行する追加のニューラルモジュールの統合を可能とするため、拡張性を備えている。