[論文レビュー] Controllable Text Generation with Neurally-Decomposed Oracle

Tao Meng, Sidi Lu+2 more|arXiv (Cornell University)|May 27, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、事前学習されたベースモデルからのサンプルを用いて学習される神経補助モデルを介して、シーケンスレベルのオラクル関数をトークンレベルのガイダンスに分解する、一般性と効率性に優れた制御的テキスト生成のためのフレームワーク、Neurally-Decomposed Oracle (NADO) を提案する。NADO は微調整を必要とせず、正確で高品質な制御を実現し、語彙制約およびフォーマリティ制御のタスクで最先端の結果を達成し、BLEU スコアの顕著な向上を示した。

ABSTRACT

We propose a general and efficient framework to control auto-regressive generation models with NeurAlly-Decomposed Oracle (NADO). Given a pre-trained base language model and a sequence-level boolean oracle function, we propose to decompose the oracle function into token-level guidance to steer the base model in text generation. Specifically, the token-level guidance is approximated by a neural model trained with examples sampled from the base model, demanding no additional auxiliary labeled data. Based on posterior regularization, we present the closed-form optimal solution to incorporate the token-level guidance into the base model for controllable generation. We further provide a theoretical analysis of how the approximation quality of NADO affects the controllable generation results. Experiments conducted on two applications: (1) text generation with lexical constraints and (2) machine translation with formality control demonstrate that our framework efficiently guides the base model towards the given oracle while maintaining high generation quality.

研究の動機と目的

• キーワードやライティングスタイルなどのシーケンスレベルの属性を用いた自己回帰的言語モデルの制御という課題に対処すること。
• モデルの再設計や微調整を必要とせず、シーケンスレベルのオラクルを用いて生成をガイドする一般化されたフレームワークを開発すること。
• 補助ガイダンスモデルをベースモデルの分布と整合させることで、生成品質と制御精度を向上させること。
• 事後正則化を介してオラクル信号を統合する理論的根拠に基づいた手法を提供すること。
• 機械翻訳における語彙制約およびフォーマリティ制御を含む、多様な制御タスクにおいて有効性を実証すること。

提案手法

• 事後正則化を用いて、シーケンスレベルのブール型オラクルを、閉形式の最適解を得る形でトークンレベルのガイダンスに分解する。
• 外部のラベル付きデータを一切必要とせず、ベースモデルからのサンプルを用いて学習される神経補助モデル NADO が、トークンレベルのガイダンスを近似する。
• 各生成ステップで NADO のガイダンスを用いてベースモデルの出力分布を再重み付けすることで、制御目的を満たす。
• NADO は、与えられたプレフィックスと候補トークンがシーケンスレベルのオラクルを満たすかどうかを予測するように学習され、ベースモデルの出力とオラクルの監視信号のみを用いる。
• NADO をベースモデルの分布からのサンプルで学習することで、分布の不一致を回避し、より良い整合性と正確な制御を実現する。
• 本手法はグリーディデコードと組み合わせられ、NADO の学習にための訓練データの多様性を高めるために温度に基づくサンプリングが活用される。

実験結果

リサーチクエスチョン

• RQ1 神経補助モデルは、制御的テキスト生成のためのシーケンスレベルのオラクル関数を効果的に近似できるか？
• RQ2 NADO の近似品質は、最終的な生成結果および制御の忠実度にどのように影響するか？
• RQ3 従来の後処理による分布シフトを用いる手法や外部ラベル付きデータを必要とする手法と比較して、NADO はより優れた制御と生成品質を達成できるか？
• RQ4 ベースモデルからのサンプルで NADO を学習することで、分布外の学習に比べて整合性が向上し、分布の不一致が軽減されるか？
• RQ5 本フレームワークは、微調整なしに語彙制約やスタイル制御を含む多様な制御タスクに一般化可能か？

主な発見

• 語彙制約付き生成では、NADO はキーワードのほぼ完全な統合を達成し、先行手法と比較して BLEU スコアが3ポイント向上した。
• フォーマリティ制御付き機械翻訳では、FUDGE と比較して BLEU スコアが3ポイント向上し、フォーマリティスコアは維持またはわずかに向上した。
• FUDGE と同程度の訓練データサイズとオラクルタイプを用いても、NADO は FUDGE を上回った。これは、より優れた整合性とガイダンス品質を示している。
• NADO の学習時に温度を用いたサンプリングにより、生成の多様性と品質が向上し、最適な性能は T=5/4 のときを示した。
• 理論的分析により、NADO の近似品質が向上すれば、ベースモデル出力の制御がより正確かつ効果的になることが確認された。
• 本フレームワークは、ベースモデルとオラクルをブラックボックスとして扱うため、アーキテクチャの変更なしに多様な制御タスクに適用可能であり、頑健で汎用的である。