[論文レビュー] Gradient-Based Constrained Sampling from Language Models

Sachin Kumar, Biswajit Paria+1 more|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用数 6

ひとこと要約

この論文では、複数の微分可能制約を満たしつつ文脈の自然さとモデル性能を維持する非自己回帰的サンプリング手法 MuCoLa を提案する。言語モデルの尤度と制約を統合したエネルギー関数を用いることで、毒性低減、センチメント制御、キーワード誘導生成の分野で最先端の結果を達成し、サンプルの質と多様性が向上した。

ABSTRACT

Large pretrained language models generate fluent text but are notoriously hard to controllably sample from. In this work, we study constrained sampling from such language models: generating text that satisfies user-defined constraints, while maintaining fluency and the model's performance in a downstream task. We propose MuCoLa -- a sampling procedure that combines the log-likelihood of the language model with arbitrary (differentiable) constraints in a single energy function, and then generates samples in a non-autoregressive manner. Specifically, it initializes the entire output sequence with noise and follows a Markov chain defined by Langevin Dynamics using the gradients of the energy function. We evaluate MuCoLa on text generation with soft and hard constraints as well as their combinations obtaining significant improvements over competitive baselines for toxicity avoidance, sentiment control, and keyword-guided generation.

研究の動機と目的

• 大規模言語モデルからのテキスト生成を制御する課題に取り組み、自然さと下流タスクのパフォーマンスを維持すること。
• グローバルな文脈を捉えにくく、複数の競合する制約に対処に苦労する自己回帰的デコード手法の限界を克服すること。
• 任意の微分可能な制約を組み込みつつ、言語モデルの元の確率分布を保持するサンプリング手法を開発すること。
• 分類器によるソフト制約（例：毒性スコア）とキーワードの存在／非存在といったハード制約を統合されたフレームワークで同時に扱えるようにすること。
• 言語モデルの確率分布を変更せずに、高品質で多様性に富んだ制御可能なテキスト生成を実現すること。

提案手法

• 言語モデルの対数尤度と微分可能な制約関数を統合した統合エネルギー関数を定式化する。
• 初期化時にランダムノイズを用いた全トークン埋め込みの逐次的更新を、エネルギー関数を最小化するようにランジュバンダイナミクスで行う。
• 語彙空間ではなく埋め込み空間での勾配ベースの更新を採用することで、メモリと計算コストを削減する。
• 勾配に追加ノイズを導入することで確率的要素を導入し、収束先が低エネルギー解に落ち着く一方で多様なサンプリングを可能にする。
• 制約をラグランジュ項として定式化し、しきい値を設定することで、重み付けを手動で行わずに複数の制約最適化を可能にする。
• 言語モデルと制約関数の両方に共通の埋め込みテーブルを用いることで、エンドツーエンドの微分可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰的サンプリング手法は、複数の、場合によっては矛盾する微分可能な制約を効果的に満たすことができるか？
• RQ2 エネルギー関数に言語モデル尤度と制約関数を統合することで、モデルの自然さとタスクパフォーマンスが維持されるか？
• RQ3 制約適合性、自然さ、多様性の観点から、自己回帰的ベースラインと比較して本手法はどのように差をつけるか？
• RQ4 本手法は、毒性スコアのようなソフト制約とキーワードの存在／非存在のようなハード制約を同時に処理できるか？
• RQ5 語彙空間における代替手法と比較して、本手法のスケーラビリティとメモリ効率はどの程度か？

主な発見

• MuCoLa は、毒性低減タスクで競合するベースラインを著しく上回り、低い毒性スコアを維持しながら高い自然さと関連性を達成した。
• センチメント制御タスクにおいても、逆説的なセンチメント語の存在を要件として含めても、望ましいセンチメントを持つテキストを効果的に生成できた。
• キーワード誘導生成では、必要なキーワードを高精度で含み、不自然な表現が最小限に抑えられた多様で関連性の高い出力を生成した。
• 機械翻訳タスクでは、固有表現の保存をハード制約として強制することで、エンティティの忠実度を向上させ、標準的なデコード手法を上回った。
• 本手法は長文シーケンス（最大1000トークン）にもスケーラブルであり、語彙空間ベースライン（50トークンを超えると失敗）と比較して優れたメモリ効率を示した。
• 人的評価では、MuCoLa が自己回帰的ベースラインよりも高品質で多様性に富んだ出力を生成しており、制約適合性は同等またはそれ以上であった。