[論文レビュー] Learning to Encode Text as Human-Readable Summaries using Generative Adversarial Networks

Yau-Shian Wang, Hung-yi Lee|arXiv (Cornell University)|Oct 5, 2018

Topic Modeling参考文献 22被引用数 4

ひとこと要約

本論文では、文書要約ペairが不要なGANベースのオートエンコーダーを提案する。生成器が再構成可能で、かつ人間の文章と区別がつかないような要約を生成することで、教師なしの抽象的要約を実現する。このモデルは、英語および中国語のデータセットで高いROUGEスコアを達成した。

ABSTRACT

Auto-encoders compress input data into a latent-space representation and reconstruct the original data from the representation. This latent representation is not easily interpreted by humans. In this paper, we propose training an auto-encoder that encodes input text into human-readable sentences, and unpaired abstractive summarization is thereby achieved. The auto-encoder is composed of a generator and a reconstructor. The generator encodes the input text into a shorter word sequence, and the reconstructor recovers the generator input from the generator output. To make the generator output human-readable, a discriminator restricts the output of the generator to resemble human-written sentences. By taking the generator output as the summary of the input text, abstractive summarization is achieved without document-summary pairs as training data. Promising results are shown on both English and Chinese corpora.

研究の動機と目的

• 入力テキストを解釈可能なベクトルではなく、人間が読める要約として表現するテキストオートエンコーダーの開発。
• 文書-要約ペアの訓練データに依存せずに要約生成を可能にする。
• 生成された要約の自然な表現のなめらかさを保証するため、識別器を用いて自然言語の流暢さを強制する。
• 離散的テキスト生成に適したGANを用いたseq2seqモデルの訓練の可能性を検討し、離散シーケンスへの訓練の課題を克服する。
• 英語および中国語のコーパスにおいて、ゼロショットおよびトランスファーラーニング設定でのモデル性能を評価する。

提案手法

• モデルは、入力テキストを短く、人間が読める要約シーケンスに変換する生成器を使用する。
• 再構成器は、生成器の出力を復元して元の入力を再構成し、再構成誤差を最小化する。
• 識別器は、人間が書いた文章と生成器の出力を区別するように学習され、自然な言語の流暢さを促進する。
• 生成器は識別器をだませるように adversarial に学習され、より現実的な要約を生成するためのGANフレームワークを用いる。
• 訓練の安定性と性能を評価するために、WGANと adversarial REINFORCE の2つのGAN訓練手法を検証する。
• トランスファーラーニングとして、ソースドメイン（例：CNN/Daily Mail）で事前学習した識別器を、ターゲットドメイン（例：英語Gigaword）に適用する。

実験結果

リサーチクエスチョン

• RQ1 対応する訓練データが一切ない状態でも、seq2seqオートエンコーダーが人間が読める要約を生成できるか？
• RQ2 識別器を用いた adversarial 訓練は、生成された要約の流暢さと自然さをどの程度向上させるか？
• RQ3 識別器を別データセットで事前学習した上でトランスファーラーニングを適用した場合、モデルはドメインを越えて一般化できるか？
• RQ4 WGANとREINFORCEなどの異なるGAN訓練戦略は、要約品質と訓練の安定性にどのような影響を与えるか？
• RQ5 教師なしの環境下でも、生成器の出力が意味的で情報量の多い要約として有効に機能するか、その程度はどの程度か？

主な発見

• 提案手法は中国語Gigawordデータセットで競争力のあるROUGEスコアを達成し、adversarial REINFORCE訓練を用いた場合、ROUGE-1が41.25、ROUGE-2が26.54、ROUGE-Lが37.76を記録した。
• ペアデータが存在しない状態でも、モデルは自明なベースライン（lead-15）および事前学習済み生成器を著しく上回り、adversarial 訓練の有効性を示した。
• WGANバージョンは収束が速かったが、英語Gigawordデータセットではadversarial REINFORCEに比べてわずかに性能が低かった。
• CNN/Daily Mailで事前学習した識別器を用いたトランスファーラーニングは、事前学習済み生成器単体よりも性能を向上させたが、ドメインの分布の不一致のため、インハウスでの訓練に比べて成績は低かった。
• 生成器はコアな内容を抽出し、一貫性のある文を作成する能力を学習したが、ROUGE-Lスコアは教師ありベースラインに比べて低かった。これは要約長や語彙サイズの制限による可能性が高い。
• モデルは再構成可能で人間が読める要約を効果的に生成した。これは、adversarial 訓練による教師なしの抽象的要約の実現可能性を裏付けた。