[論文レビュー] Language modeling via stochastic processes

Rose E Wang, Esin Durmus+2 more|arXiv (Cornell University)|Mar 21, 2022

Topic Modeling被引用数 9

ひとこと要約

本稿では、長文生成における一貫性を向上させるために、潜在空間におけるブラウン運動ブリッジ過程としてテキスト生成をモデル化する新しい対照学習フレームワークであるTime Control（TC）を提案する。開始点と終了点に固定された潜在的軌道を学習することで、GPT-2がより構造的・一貫性のある長文を生成可能となり、長文生成タスクにおいて、会話的一貫性と長さの一貫性の両面で、ベースライン手法を最大+90%上回る性能を発揮する。

ABSTRACT

Modern language models can generate high-quality short texts. However, they often meander or are incoherent when generating longer texts. These issues arise from the next-token-only language modeling objective. Recent work in self-supervised learning suggests that models can learn good latent representations via contrastive learning, which can be effective for discriminative tasks. Our work analyzes the application of contrastive representations for generative tasks, like long text generation. We propose one approach for leveraging constrastive representations, which we call Time Control (TC). TC first learns a contrastive representation of the target text domain, then generates text by decoding from these representations. Compared to domain-specific methods and fine-tuning GPT2 across a variety of text domains, TC performs competitively to methods specific for learning sentence representations on discourse coherence. On long text generation settings, TC preserves the text structure both in terms of ordering (up to $+15\%$ better) and text length consistency (up to $+90\%$ better).

研究の動機と目的

• 自己回帰的言語モデルにおけるグローバルな計画とテキスト構造モデリングの欠如に起因する、長文生成における一貫性の欠如という課題に対処すること。
• 確率的過程を介して学習された対照的表現が、特に長文生成において生成品質を向上させることを検証すること。
• 学習可能な潜在過程を用いて時間的ダイナミクスを明示的にモデリングする方法を開発し、ドメイン固有のヒューリスティクスを回避すること。
• 標準的な自己回帰的デコードと比較して、学習された潜在的軌道に条件づけて生成することで、会話的一貫性と構造的一致性が向上することを示すこと。
• 多様なテキストドメインにわたり、対照学習とブラウン運動ブリッジダイナミクスを用いた生成モデリングの有効性を検証すること。

提案手法

• 開始点から終了点へと進化する潜在的軌道をモデル化するため、ブラウン運動ブリッジ確率過程に基づく対照学習目的関数を定式化する。
• 一貫性のある文書は滑らかで時間相関のある軌道を示し、一貫性のないまたはシャッフルされた文書はノイズが多く構造のないパスを示す潜在空間を学習する。
• テキスト生成を2段階に分解する：まず、ブラウン運動ブリッジ過程から潜在埋め込みの系列をサンプリングし、次にGPT-2をその潜在状態に条件づけて文を生成する。
• 近い文の表現同士を近づけ、遠く離れた表現同士を遠ざける対照的損失を用いるが、固定された開始および終了埋め込みによってダイナミクスが制約される。
• GPT-2を潜在系列に条件づけて微調整し、目的指向的で構造的一致性のある生成を可能にする。
• 主要な構成要素をアブレーションする：対照的目的関数、ブラウン運動ブリッジダイナミクス、潜在的ダイナミクスの明示的モデリング、および潜在的計画からのデコード。

実験結果

リサーチクエスチョン

• RQ1 確率的過程を介して学習された対照的表現は、長文生成の一貫性を向上させ得るか？
• RQ2 潜在空間においてテキストをブラウン運動ブリッジとしてモデル化することで、標準的な自己回帰的モデリングと比較して、より優れた構造的および会話的一貫性が得られるか？
• RQ3 ブラウン運動ブリッジを用いた潜在的ダイナミクスの明示的モデリングは、ブラウン運動やVAEのような単純なプロセスと比較して、テキストの進化をどれほどよく捉えられるか？
• RQ4 直接的な自己回帰的生成と比較して、学習された潜在的計画からのデコードがどれほどテキスト品質を向上させるか？
• RQ5 どのテキストドメインで本手法が特に優位性を示し、逆に他のドメイン（例：レシピドメイン）で性能を発揮しないのはなぜか？

主な発見

• Time Controlは、長文生成タスクにおいて、ベースラインと比較して最大90%優れた長さの一貫性を示し、出力長に対する制御力の強化を示している。
• Time Controlは、ベースラインと比較して最大15%優れた順序一貫性を示し、テキスト構造および順序の整合性の維持が向上していることを示している。
• Time Controlが学習した潜在的軌道は、一貫性のある文書では明確な時間的相関構造を示す一方、シャッフルされた文書ではノイズが多く変化のないパスを示す。
• VAEベースラインは、レシピドメインにおいてTime Controlを上回っているため、時間的構造そのものだけではすべてのドメインで十分ではないことが示唆され、セクションレベルの統計などの他の要因も重要である可能性がある。
• アブレーションスタディにより、対照的目的関数とブラウン運動ブリッジダイナミクスの明示的モデリングが性能に不可欠であることが確認され、目的指向でないデコードでは性能が劣ることが分かった。
• 本手法は、複数のドメインで競争力のある会話的一貫性を達成しており、ドメイン固有のヒューリスティクスを必要とせずに、タスク固有の手法と同等またはそれを上回る性能を発揮している。