[論文レビュー] Conditioned Natural Language Generation using only Unconditioned Language Model: An Exploration

Fan-Keng Sun, Cheng-I Lai|arXiv (Cornell University)|Nov 14, 2020

Topic Modeling参考文献 4被引用数 9

ひとこと要約

この論文は、微調整や追加のガイダンスモデルを一切用いずに、事前学習済みで非条件付き言語モデルのみを用いて、条件付き自然言語生成（NLG）のための単純で柔軟かつ効果的な手法を提案する。トークン埋め込み、隠れ状態、または次トークンの確率分布を変更することで、複数の属性に条件づけられた流れのよい多様なテキスト生成が可能となり、アーキテクチャの変更や再学習なしに、先行手法を上回る文の流れのよさと関連性を達成する。

ABSTRACT

Transformer-based language models have shown to be very powerful for natural language generation (NLG). However, text generation conditioned on some user inputs, such as topics or attributes, is non-trivial. Past approach relies on either modifying the original LM architecture, re-training the LM on corpora with attribute labels, or having separately trained `guidance models' to guide text generation in decoding. We argued that the above approaches are not necessary, and the original unconditioned LM is sufficient for conditioned NLG. We evaluated our approaches by the samples' fluency and diversity with automated and human evaluation.

研究の動機と目的

• 微調整や追加の学習データを必要としない条件付き自然言語生成（NLG）の課題に取り組むこと。
• 外部のガイダンスモデルやキュレート済み語彙リストに依存することを排除し、コストが高く柔軟性に欠ける問題を解消すること。
• 任意の重み付けが可能な複数属性への柔軟な条件づけを可能とすること。
• 自動評価指標と人的評価を用いて、生成テキストの文の流れのよさと多様性を評価すること。
• 事前学習済みで非条件付きの言語モデルのみで、複雑な条件づけのもとで多様で関連性のあるテキストを効果的に生成できることを示すこと。

提案手法

• 推論時に条件情報を直接組み込むために、言語モデルのトークン埋め込みを変更する。
• トランスフォーマーのデコーダーの隠れ状態を、望ましい属性に一致するように調整する。
• 次トークンの確率分布を $ p(x)p(c|x) $ としてモデル化し、$ c $ を条件とすることで生成を誘導する。
• 複数の条件づけ戦略を統合的に1つの推論時アプローチに統合する。
• PPLMとは異なり、繰り返しデコードを用いない1ステップ更新で実装する。
• 元の事前学習済み言語モデルのアーキテクチャを変更せず、推論時に入力条件のみに依存する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みで非条件付きの言語モデルが、微調整や追加モデルを一切用いずに、ユーザーが定義した属性に条件づけられた流れのよい多様なテキストを生成できるか？
• RQ2 PPLMと比較して、この手法の文の流れのよさ、多様性、属性の関連性において、性能はどのように異なるか？
• RQ3 任意の組み合わせと重み付けが可能な複雑な複数属性の条件づけを処理できるか？
• RQ4 イテレーティブ手法（PPLMなど）と比較して、1ステップ条件づけの限界は何か？
• RQ5 埋め込みとアテンション状態を変更することで、パープレクシティと生成品質にどのような影響があるか？

主な発見

• 提案手法は、自動評価指標と人的評価の両方で、生成テキストの高い文の流れのよさと多様性を達成した。
• この手法は、感情、トピック、ドメインなど複数の属性を同時に条件づけることに成功し、奇妙や矛盾する組み合わせでも効果を発揮した。
• 生成されたサンプルは指定された属性を尊重しており、関連キーワードが強調表示されている（例：[Negative] に対して 'false'）。これは、属性制御の有効性を示している。
• 1ステップ手法であるにもかかわらず、一貫性があり文脈的に関連する出力を生成したが、一部で劣化や高いパープレクシティが観察された。
• 追加の学習やガイダンスモデルが不要なため、PPLMに比べて柔軟性とシンプルさに優れた。
• 表6で示されるように、意味的に奇妙な組み合わせでも、多様で一貫性のある出力を生成できることから、本手法は困難な属性組み合わせに対しても有効であることが示された。