[論文レビュー] Long Text Generation by Modeling Sentence-Level and Discourse-Level Coherence

Jian Guan, Xiaoxi Mao+4 more|arXiv (Cornell University)|May 19, 2021

Topic Modeling参考文献 32被引用数 4

ひとこと要約

この論文では、デコード中に文レベルおよび話法レベルの表現を学習することで一貫性を向上させる、長文生成モデルHintを提案する。特別なトークンと事前学習目的（文間類似度予測と文の順序識別）を導入することで、BARTなどの強力なベースラインと比較して、論理的な出来事の順序を維持し、一貫性のない繰り返しを低減する点で優れた一貫性を達成する。

ABSTRACT

Generating long and coherent text is an important but challenging task, particularly for open-ended language generation tasks such as story generation. Despite the success in modeling intra-sentence coherence, existing generation models (e.g., BART) still struggle to maintain a coherent event sequence throughout the generated text. We conjecture that this is because of the difficulty for the decoder to capture the high-level semantics and discourse structures in the context beyond token-level co-occurrence. In this paper, we propose a long text generation model, which can represent the prefix sentences at sentence level and discourse level in the decoding process. To this end, we propose two pretraining objectives to learn the representations by predicting inter-sentence semantic similarity and distinguishing between normal and shuffled sentence orders. Extensive experiments show that our model can generate more coherent texts than state-of-the-art baselines.

研究の動機と目的

• 物語や小説生成など、オープンエンドなテキスト生成における長距離の一貫性を維持する課題に対処すること。
• トークンレベルの共起に焦点を当てているが、高レベルの意味的意味や話法構造を捉えられていない既存のモデルを改善すること。
• デコード中に文レベルおよび話法レベルの文脈を理解し、表現できる生成モデルを開発すること。
• 文間の類似度を予測し、正しい順序とシャッフルされた順序を区別するような事前学習目的を設計すること。
• 高レベルの表現が、より一貫性があり論理的な構造を持つ長文生成に寄与するかどうかを評価すること。

提案手法

• 各文の後に[S]および[D]という特別なトークンを挿入し、デコーダー内での文レベルおよび話法レベルの表現学習を可能にする。
• 3つの目的でモデルを事前学習する：次トークン予測、SentenceBERTを教師として用いた文間類似度予測、および正しい順序とシャッフルされた順序の間の文の順序識別。
• 類似度予測のためのゴールスタンダードな文埋め込みをSentenceBERTから提供し、モデルが意味的な文レベルの表現を学習できるようにする。
• 話法レベルの表現を、正しい順序と逆順の文の順序を区別できるように学習させることで、時間的・論理的依存関係を学習するよう促進する。
• デコード中に学習された高レベル表現を用いて、物語や小説生成タスクでファインチューニングする。
• 自動評価と人間によるアノテーションの両方を用いて、一貫性、流暢さ、言語モデル性能を、一貫性のある入力と一貫性のない入力の両方で評価する。

実験結果

リサーチクエスチョン

• RQ1 文レベルおよび話法レベルの表現をモデル化することで、オープンエンド生成における長文の一貫性が向上するか？
• RQ2 文間類似度と文の順序識別を事前学習で行うことで、モデルの論理的な出来事の順序を維持する能力が向上するか？
• RQ3 高レベル表現の導入が、一貫性のある入力と一貫性のない入力の両方における言語モデル性能にどのように影響するか？
• RQ4 文レベルおよび話法レベルの表現は、因果関係、時間的関係、否定など、さまざまな種類の一貫性にどの程度寄与するか？
• RQ5 提案手法は、異なる生成タスクやモデルアーキテクチャに一般化可能か？

主な発見

• ヒューマンアノテーションにおいて、Hintは物語や小説生成タスクでBARTや他の強力なベースラインを顕著に上回り、一貫性において統計的に有意な改善（p < 0.01）を示した。
• 一貫性のある例では低いパープレキシティ、一貫性のない例では高いパープレキシティを達成しており、高レベルの一貫性をよりよくモデル化していることが示された。
• アブレーションスタディの結果、文レベル表現は類縁性、否定、意味的繰り返しのタスクで性能向上を示したが、話法レベル表現は因果関係および時間的関係のタスクで最も効果的であった。
• ベースラインと同等の流暢さを維持しながら、優れた一貫性を達成しており、改善が表面的な流暢さの向上によるものではないことが示された。
• 類似度予測の教師としてSentenceBERTを用いることで、モデルはより意味的な文レベルの表現を学習できるようになった。
• エラー解析の結果、HintはBART生成物に見られる典型的な繰り返しのプロットや論理的不整合、特に出来事の順序付けや因果的論理の問題を低減した。