[論文レビュー] Hierarchical Text Generation using an Outline

Mehdi Drissi, Olivia Watkins+1 more|arXiv (Cornell University)|Oct 20, 2018

Topic Modeling参考文献 2被引用数 8

ひとこと要約

本稿では、まず抽出要約を用いてアウトラインを生成し、その後そのアウトラインをもとに全文生成を行う階層的テキスト生成フレームワークを提案する。この手法は確率的パーキュリティ（perplexity）を著しく改善するが、人間による評価では質の向上が得られず、テキスト生成評価における自動指標と人間の認識の間には重要な乖離が存在することが明らかになった。

ABSTRACT

Many challenges in natural language processing require generating text, including language translation, dialogue generation, and speech recognition. For all of these problems, text generation becomes more difficult as the text becomes longer. Current language models often struggle to keep track of coherence for long pieces of text. Here, we attempt to have the model construct and use an outline of the text it generates to keep it focused. We find that the usage of an outline improves perplexity. We do not find that using the outline improves human evaluation over a simpler baseline, revealing a discrepancy in perplexity and human perception. Similarly, hierarchical generation is not found to improve human evaluation scores.

研究の動機と目的

• 長文生成における一貫性を維持する課題に対処するため、アウトラインを用いた階層的アプローチを導入すること。
• 標準的な自己回帰モデルと比較して、アウトラインを用いることで生成テキストの質および一貫性が向上するかどうかを調査すること。
• テキスト生成の質評価において、自動指標（例：パーキュリティ）と人間の判断との乖離を評価すること。
• 長文生成のための構造的アウトラインを生成する手段として、抽出要約の実現可能性と限界を検討すること。

提案手法

• モデルは二段階の生成プロセスを用いる：まず抽出要約を用いて要約を簡潔に生成し、次にそのアウトラインをもとに全文を生成する。
• アウトラインは、ターゲットテキストに単純な抽出要約法を適用することで作成され、構造的骨格として機能する。
• 階層的アテンションを備えたエンコーダ・デコーダ型のseq2seqモデルを用いて、アウトライン埋め込みを条件として全文を生成する。
• モデルは単語レベルと文レベルの表現の両方に同時に注目するアテンション機構を採用し、文脈の保持を向上させる。
• 生成品質の評価には主にパーキュリティを自動指標として用い、人間評価では文の自然さと一貫性を評価する。
• 本アプローチは2つのデータセットで評価され、アブレーションスタディによりアウトライン有無の比較が行われた。

実験結果

リサーチクエスチョン

• RQ1 アウトラインを用いた階層的テキスト生成は、パーキュリティなどの自動評価指標を改善するか？
• RQ2 アウトラインの使用は、一貫性と自然さの観点で人間によるテキスト品質評価を向上させるか？
• RQ3 アウトライン生成部が低品質または一貫性のないアウトラインを生成した場合の、階層モデルの主な失敗モードは何か？
• RQ4 長文生成タスクにおいて、階層的アテンションは標準アテンションと比較してどのように異なるか？
• RQ5 モデルがアウトラインに依存するようになることで、多様性や正確性のあるコンテンツ生成能力にどのような影響が生じるか？

主な発見

• アウトライン条件付きの階層モデルは、パーキュリティが著しく向上し、より良い言語モデル性能を示した。
• パーキュリティの向上にもかかわらず、人間評価スコアは向上せず、自動指標と人間の認識の間には乖離が存在することが明らかになった。
• アウトライン生成部が低品質または一貫性のないアウトラインを生成した場合、その影響が主モデルで拡大され、顕著な失敗モードが観察された。
• モデルは、特に生成された記事の後半において、冗長性と繰り返しの増加を示したが、個々の文は局所的に一貫性を持っていた。
• 階層的アテンションは、2つのデータセットにおいてわずかではあるが測定可能なパーキュリティの改善をもたらしたが、先行研究とは異なり一貫した向上効果を示した。
• 本研究は、現在の自動指標（例：パーキュリティ）が人間による質評価を信頼性を持って予測できない可能性を示唆し、テキスト生成分野におけるより良い評価指標の開発が急務であると提言した。