[論文レビュー] Composable Text Controls in Latent Space with ODEs

Guangyi Liu, Zeyu Feng+8 more|arXiv (Cornell University)|Aug 1, 2022

Topic Modeling被引用数 4

ひとこと要約

この論文では、通常微分方程式（ODE）を用いて、事前学習済み言語モデルの連続的潜在空間における合成可能なテキスト制御のためのLatentOpsを提案する。VAEに類似したフレームワークを活用して事前学習済みLMをコンパクトな潜在空間に接続することで、感情、フォーマルさ、キーワードなど、任意の組み合わせの属性を持つテキストを、ODEベースのサンプラーによって効率的に生成可能となり、従来の探索ベースや微調整ベースの手法に比べ、生成品質と効率性に優れた結果を達成する。

ABSTRACT

Real-world text applications often involve composing a wide range of text control operations, such as editing the text w.r.t. an attribute, manipulating keywords and structure, and generating new text of desired properties. Prior work typically learns/finetunes a language model (LM) to perform individual or specific subsets of operations. Recent research has studied combining operations in a plug-and-play manner, often with costly search or optimization in the complex sequence space. This paper proposes a new efficient approach for composable text operations in the compact latent space of text. The low-dimensionality and differentiability of the text latent vector allow us to develop an efficient sampler based on ordinary differential equations (ODEs) given arbitrary plug-in operators (e.g., attribute classifiers). By connecting pretrained LMs (e.g., GPT2) to the latent space through efficient adaption, we then decode the sampled vectors into desired text sequences. The flexible approach permits diverse control operators (sentiment, tense, formality, keywords, etc.) acquired using any relevant data from different domains. Experiments show that composing those operators within our approach manages to generate or edit high-quality text, substantially improving over previous methods in terms of generation quality and efficiency.

研究の動機と目的

• テキスト制御操作のための微調整や探索を離散的シーケンス空間でする従来の手法のスケーラビリティと効率性の制限を解消すること。
• 感情、フォーマルさ、キーワードなど、多様なテキスト制御オペレータを、一度の統合フレームワーク内で任意に合成可能にすること。
• 従来の潜在編集手法における離散的テキストシーケンスと連続的潜在空間の不整合性を克服すること。
• 高品質なテキストを潜在空間から生成するための高速で微分可能かつスケーラブルなサンプリング手法を開発すること。
• 再訓練を必要とせずに、1つの適応済み言語モデルが多様で合成可能なテキスト操作を実行できることを実証すること。

提案手法

• テキストシーケンスを低次元の連続的潜在空間にマッピングするための変分オートエンコーダ（VAE）フレームワークを用い、微分可能で効率的な最適化を可能にする。
• 事前学習済み言語モデル（例：GPT-2）をパラメータ効率的微調整により、潜在ベクトルからテキストを再構築できるように適応させ、高精度なデコードを保証する。
• 感情分類器やキーワード検出器などの任意のテキスト制御オペレータを、潜在空間におけるエネルギー関数として定義し、エネルギーベースモデル（EBM）を構築する。
• 合成されたエネルギー制約を満たす潜在ベクトルを生成するために、連続的ダイナミクスを活用した安定的で効率的なサンプリングを実現するODEベースのサンプラーを採用する。
• スコアベースの生成モデリングの原則に従い、ODEサンプラーを学習することで、サンプルされた潜在ベクトルから高品質で流れの良いテキスト生成を可能にする。
• 複数のオペレータを潜在空間で合成することで、既存のテキストの編集と、指定された属性を持つ新しいテキストの生成の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 再訓練を必要とせずに、複数のテキスト制御操作（例：感情、フォーマルさ、キーワード）を統合的に効率的に行える単一のフレームワークは可能か？
• RQ2 ODEを用いた連続的潜在空間でのサンプリングは、探索ベースや最適化ベースの手法に比べ、生成品質と推論速度の面で優れているか？
• RQ3 1つの適応済み言語モデルは、多様で合成可能なテキスト制御タスクに一般化して機能するか？
• RQ4 ODEサンプラーは、複雑な複数属性制約を満たしつつ、文の流れと多様性をどれほど維持できるか？
• RQ5 この手法は、複雑な実世界のテキスト編集および生成シナリオにどの程度スケーラブルに適用可能か？

主な発見

• ODEサンプラーは、生成品質、多様性、推論速度のバランスが最も優れており、生成時間は5.5秒と、SDE（15.6秒）よりも顕著に速く、SGLD（5.1秒）と同等の性能を示した。
• 自動評価指標（BLEU、ROUGE）および人間評価による測定において、編集および生成タスクの両方で、ベースラインに比べて顕著に生成品質が向上した。
• 複数の属性を同時にまたは逐次的に適用しても、意味的整合性と文の流れを保ちつつ、高精度なテキスト編集が可能となった。
• 感情、フォーマルさ、キーワードなど、異なるドメインで学習された多様なオペレータを、プラグアンドプレイで統合可能であり、優れた合成性を示した。
• VAEベースの適応により、潜在ベクトルからの有効なデコードが可能となり、元の事前学習済みLM（例：GPT-2）の能力が潜在空間に保たれた。
• アブレーションスタディにより、ODEサンプラーはSGLDやSDEベースの手法よりも安定性が高く、ハイパーパrameterにあまり敏感でないことが確認された。