[論文レビュー] CoCon: A Self-Supervised Approach for Controlled Text Generation

Alvin Chan, Yew-Soon Ong+3 more|PolyPublie (École Polytechnique de Montréal)|Jun 5, 2020

Topic Modeling参考文献 33被引用数 16

ひとこと要約

CoConは、事前学習された言語モデルにおける細粒度でコンテンツに依存するテキスト生成を可能にする自己教師付き手法を提案する。軽量なCoConブロックを挿入することで、特定のコンテンツ入力をもとに生成を条件づける。ベースの言語モデルの微調整やラベル付きデータを必要とせず、感情やトピックといった高レベルな属性に対してゼロショット制御を実現しながら、高いコンテンツ忠実度を維持する。

ABSTRACT

Pretrained Transformer-based language models (LMs) display remarkable natural language generation capabilities. With their immense potential, controlling text generation of such LMs is getting attention. While there are studies that seek to control high-level attributes (such as sentiment and topic) of generated text, there is still a lack of more precise control over its content at the word- and phrase-level. Here, we propose Content-Conditioner (CoCon) to control an LM's output text with a content input, at a fine-grained level. In our self-supervised approach, the CoCon block learns to help the LM complete a partially-observed text sequence by conditioning with content inputs that are withheld from the LM. Through experiments, we show that CoCon can naturally incorporate target content into generated texts and control high-level text attributes in a zero-shot manner.

研究の動機と目的

• 既存の制御テキスト生成手法における細粒度で単語・フレーズレベルの制御の欠如に対処すること。
• 事前学習済み言語モデルの微調整を必要とせず、感情やトピックなどの高レベルな属性に対してゼロショットで制御できること。
• ラベル付きデータや事前に定義された属性コードを必要としない自己教師付き学習アプローチを開発すること。
• 任意の事前学習済みTransformer言語モデルに組み込めるモジュール型で軽量なアダプタ（CoConブロック）を設計すること。

提案手法

• コンテンツ入力を注目し、生成の前に事前学習済み言語モデルの隠れ状態を条件づけるCoConブロックを導入する。
• 自己再構成目的関数を用いる：シーケンスを二つの部分に分割し、最初の部分をコンテンツ入力として使って第二の部分を再構成するように学習させる。
• 訓練中にコンテンツマスキングを適用し、ターゲットシーケンスへの直接アクセスを防ぐことで、CoConブロックがコンテンツを推論して条件づけるように強制する。
• サイクル再構成損失を用いて、異なるソースからのコンテンツを条件づけながらも生成品質を維持する。
• 推論時に学習可能なコンテンツバイアス項を用い、コンテンツ条件づけの強度を柔軟に調整する。
• 事前学習済み言語モデルの重みは凍結したまま、CoConブロックのみを訓練することで、大幅な訓練コスト削減を実現する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き手法が、微調整を伴わず事前学習済み言語モデルにおける細粒度のコンテンツ制御を効果的に可能にするか。
• RQ2 CoConがゼロショットで感情やトピックといった高レベルな属性をどの程度制御できるか。
• RQ3 コンテンツ忠実度と属性制御の観点から、PPLM や CTRL といった強力なベースラインと比較して、CoConのコンテンツ条件づけはどのように異なるか。
• RQ4 CoConが複数のコンテンツ入力に対応でき、推論時にバイアス項を用いて条件づけの強度を柔軟に調整できるか。
• RQ5 CoConの自己教師付き事前学習は、多様な生成タスクやコンテンツタイプにわたって十分に一般化するか。

主な発見

• ROUGE や BERTScore で測定したところ、生成テキストが提供されたコンテンツ入力と非常に一致しており、高いコンテンツ忠実度を達成している。
• 感情やトピックといった高レベルな属性に対してゼロショットで制御が可能であり、PPLM や CTRL よりも属性制御性能が優れている一方で、コンテンツの整合性を維持している。
• PPLM や CTRL とは異なり、CoConの自己教師付き事前学習により、ラベル付きデータや事前に定義された属性コードの必要がなくなる。
• アブレーションスタディにより、CoConブロックがコンテンツ条件づけに不可欠であり、バイアス項が推論時の条件づけ強度の柔軟な調整を可能にすることが確認された。
• 多様なコンテンツ入力や生成タスク、特に複数入力の条件づけや複雑な属性の組み合わせに対しても、モデルは良好に一般化している。