[論文レビュー] Controlling Conditional Language Models without Catastrophic Forgetting

Tomasz Korbak, Hady Elsahar+2 more|arXiv (Cornell University)|Dec 1, 2021

Topic Modeling被引用数 6

ひとこと要約

本稿では、分布的方策勾配（DPG）の拡張として、特定の制御目的（要約における事実的一致性やコード生成におけるPEP8準拠など）を満たすように条件付き言語モデルを微調整可能にする、条件付きDPG（CDPG）を提案する。Catastrophic forgetting（途切れ的忘却）を回避しつつ、元のモデルの汎用的機能を維持する。CDPGは条件付きエネルギーに基づくモデル（EBM）を用いて微調整をガイドし、翻訳、要約、コード生成のタスクにおいて、制御基準との整合性を高める。

ABSTRACT

Machine learning is shifting towards general-purpose pretrained generative models, trained in a self-supervised manner on large amounts of data, which can then be applied to solve a large number of tasks. However, due to their generic training methodology, these models often fail to meet some of the downstream requirements (e.g., hallucinations in abstractive summarization or style violations in code generation). This raises the important question of how to adapt pre-trained generative models to meet all requirements without destroying their general capabilities ("catastrophic forgetting"). Recent work has proposed to solve this problem by representing task-specific requirements through energy-based models (EBMs) and approximating these EBMs using distributional policy gradients (DPG). Despite its effectiveness, this approach is however limited to unconditional distributions. In this paper, we extend DPG to conditional tasks by proposing Conditional DPG (CDPG). We evaluate CDPG on four different control objectives across three tasks (translation, summarization and code generation) and two pretrained models (T5 and GPT-Neo). Our results show that fine-tuning using CDPG robustly moves these pretrained models closer towards meeting control objectives and -- in contrast with baseline approaches -- does not result in catastrophic forgetting.

研究の動機と目的

• 特定の制御目的を満たすように条件付き言語モデルを微調整するが、汎用的機能を失わないようにする挑戦に対処すること。
• 元々無条件生成に限定されていた分布的方策勾配（DPG）を、文脈依存の制御が必要な条件付き設定に拡張すること。
• 元のモデルの分布的性質を保持する条件付きエネルギーに基づくモデル（EBM）を用いて、微調整中の途切れ的忘却を緩和すること。
• T5とGPT-Neoの2つの事前学習済みモデルを用い、翻訳、要約、コード生成の多様なタスクにおいてCDPGを評価すること。
• CDPGが制御目的への適合性を向上させつつ、生成品質と多様性を維持または向上させることを示すこと。

提案手法

• CDPGは、制御目的を条件付きエネルギーに基づくモデル（EBM）でモデル化することでDPGを拡張し、各文脈cが固有の正規化されていない分布P_cを定義する。
• この方法では、モデルの条件付き分布p_cと正規化されたEBM P_cとの平均的乖離を最小化することで、制御制約との整合性を確保する。
• 分布的方策勾配を用いてモデルパラメータθを最適化し、条件付きEBM下でのサンプル生成シーケンスに基づく勾配推定値を用いて更新を行う。
• 生成シーケンスxが文脈cに対して制御目的を満たすかどうかを示す報酬信号b(x,c)を活用し、教師ありラベルが不要な強化学習スタイルの学習を可能にする。
• 微調整は、事前学習のインダクティブバイアスを保持しつつ、タスク固有の制約に適応するT5とGPT-Neoの事前学習モデル上でエンドツーエンドで実行される。
• 本手法は、桁数の変換、要約における事実的一致性、コード生成におけるPEP8準拠の3つの制御目的に適用される。

実験結果

リサーチクエスチョン

• RQ1 分布的方策勾配を条件付き言語モデルに拡張することで、途切れ的忘却を伴わず制御が可能になるか？
• RQ2 CDPGは、要約やコード生成における事実的一致性やスタイル準拠といった制御目的をどれほど効果的に強制できるか？
• RQ3 ベースラインの微調整法や強化学習法と比較して、CDPGは生成品質と多様性を維持または向上させるか？
• RQ4 数値をアラビア数字に変換する、またはPEP8準拠コードを生成するといった制御制約の満たされる確率は、CDPGによってどの程度向上するか？
• RQ5 CDPGは、T5やGPT-Neoといった異なるモデルや翻訳、要約、コード生成といった異なるタスクにおいて、最小限のアーキテクチャ変更で一般化可能か？

主な発見

• 元のモデルと比較して、数値をアラビア数字に変換する制約を満たすシーケンスを生成する確率が、CDPGでは116倍に向上した。
• 要約タスクにおいて、CDPGによる微調整により事実的一致性が向上し、要約に含まれる正しい固有表現の数が増え、Rougeスコアも上昇した。
• コード生成タスクでは、CDPGによりPEP8違反が減少し、コンパイル成功確率が平均で40％から80％以上に上昇した。これは、スタイル制約への強い適合性を示している。
• 強化学習のベースラインとは異なり、CDPGは生成テキストの多様性や流暢さを劣化させず、モデルの品質を維持した。
• CDPGは、T5とGPT-Neoの両方のモデルをすべてのタスクで効果的に微調整でき、異なるモデルアーキテクチャにわたる強靭性と一般化能力を示した。
• 本手法は途切れ的忘却を効果的に回避し、ターゲット制御を達成しつつ、元のモデルの広範な能力を維持した。