[論文レビュー] Unsupervised Neural Single-Document Summarization of Reviews via Learning Latent Discourse Structure and its Ranking

Masaru Isonuma, Junichiro Mori+1 more|arXiv (Cornell University)|Jun 13, 2019

Topic Modeling参考文献 42被引用数 4

ひとこと要約

本稿では、外部のパーサーを用いずに、隠れたディスcourseツリーを誘導することで、製品レビューのアブストラクト型単一文書要約のための教師なしニューラルモデルStrSumを提案する。親文を子文から再構築する再帰的プロセスと、DiscourseRankを用いた重要な文の優先順位付けにより、要約は全体のレビューを要約的に表現し、教師なし手法を上回り、長文レビューでは教師ありモデルと同等またはそれを上回る性能を達成する。

ABSTRACT

This paper focuses on the end-to-end abstractive summarization of a single product review without supervision. We assume that a review can be described as a discourse tree, in which the summary is the root, and the child sentences explain their parent in detail. By recursively estimating a parent from its children, our model learns the latent discourse tree without an external parser and generates a concise summary. We also introduce an architecture that ranks the importance of each sentence on the tree to support summary generation focusing on the main review point. The experimental results demonstrate that our model is competitive with or outperforms other unsupervised approaches. In particular, for relatively long reviews, it achieves a competitive or better performance than supervised models. The induced tree shows that the child sentences provide additional information about their parent, and the generated summary abstracts the entire review.

研究の動機と目的

• 新しいドメインにおける教師あり要約のためのリファレンス要約作成にかかる高コストを低減すること。
• 人為的要約ラベルが不要な、単一製品レビューのエンドツーエンドアブストラクト型要約を可能にすること。
• 子文が親文を説明するという構造において、レビューを隠れたディスcourseツリーとしてモデル化することで、階層的要約を可能にすること。
• ディスcourse構造の深さ（DiscourseRank）に基づく文の重要度ランク付けにより、要約品質を向上させること。
• 教師なし条件下でも、特に長文レビューにおいて、教師ありモデルと同等の性能を達成すること。

提案手法

• StrSumは、Bi-GRUエンコーダーを用いて子文から親文を再構築することで、エンドツーエンドで隠れたディスcourseツリーを誘導する。文の表現にはマックスプーリングを用いる。
• モデルは再構築損失を通じて言語モデルを学習し、子文から親文を生成するように訓練される。
• DiscourseRankは、誘導されたツリー内の子孫数に基づいて文の重要度スコアを割り当て、中心的なノードを強調する。
• 要約は誘導されたディスcourseツリーのルートから生成され、これは全体のレビューのポイントを表す。
• 文の埋め込み表現は、双方向GRUと隠れ状態のマックスプーリングにより計算され、文脈を捉える表現を生成する。
• 外部のディスcourseパーサーを回避し、再構築を通じてデータから直接的にディスcourse構造を学習する。

実験結果

リサーチクエスチョン

• RQ1 外部パーサーを用いずに、教師なしモデルが単一製品レビューに意味的な隠れたディスcourse構造を誘導できるか？
• RQ2 子文から親文を再構築することで、従来の教師なし手法よりも優れたアブストラクト型要約が得られるか？
• RQ3 ディスcourse構造の深さ（DiscourseRank経由）が、要約生成のための主要なレビューのポイントを効果的に特定できるか？
• RQ4 長文レビューにおいて、教師ありベースラインと比較して、モデルの性能はいかがなっているか？
• RQ5 誘導されたディスcourseツリーは、文の間で一貫性のある階層的関係を明らかにできるか？

主な発見

• StrSumは、特に長文レビューにおいて、他の教師なしモデルを上回る性能を示し、単一文書レビュー要約の分野で優れた性能を発揮する。
• 長文レビューにおいて、StrSumは教師ありモデルと同等またはそれ以上の性能を達成しており、優れた一般化能力を示している。
• StrAttなどの教師ありベースラインと比較して、誘導されたディスcourseツリーはより深く、より複雑になっており、平均高さが顕著に高い（例：おもちゃ・ゲーム分野では3.06）ことから、より豊かな階層的構造を有していることが示された。
• DiscourseRankは、評価的な文（例：ゴーグルレビューにおける品質問題）を高重要度ノードとして正しく特定し、主要なレビューのポイントに焦点を当てる要約を生成する上で有効であった。
• 失敗事例では、モデルが側面の優先順位を誤って決定しており（例：動画品質を音声品質より優先）、対照的な側面が同じツリー深さを持つ場合に限界を示している。
• モデルは、子文が親文を説明する形で、全体のレビューを要約的に表現する要約を生成しており、ディスcourse構造の仮定が妥当であることが確認された。