[論文レビュー] Style Example-Guided Text Generation using Generative Adversarial Transformers

Kuo-Hao Zeng, Mohammad Shoeybi+1 more|arXiv (Cornell University)|Mar 2, 2020

Topic Modeling参考文献 74被引用数 13

ひとこと要約

本稿では、生成的対抗的トランスフォーマー（GAT）を用いたスタイル例示ガイドドテキスト生成フレームワークを提案する。このモデルは、文脈文と望ましいスタイルの参照例を入力として、一貫性がありスタイルに合った段落を生成する。モデルは参照例からスタイルコードを抽出するスタイルエンコーダと、文脈およびスタイルに条件付けられたテキストを生成するトランスフォーマーベースのデコーダを用い、新しく収集されたデータセット上で多様なスタイルに対してゼロショットスタイル転送を達成し、質的・量的両面で優れた結果を得た。

ABSTRACT

We introduce a language generative model framework for generating a styled paragraph based on a context sentence and a style reference example. The framework consists of a style encoder and a texts decoder. The style encoder extracts a style code from the reference example, and the text decoder generates texts based on the style code and the context. We propose a novel objective function to train our framework. We also investigate different network design choices. We conduct extensive experimental validation with comparison to strong baselines to validate the effectiveness of the proposed framework using a newly collected dataset with diverse text styles. Both code and dataset will be released upon publication.

研究の動機と目的

• 訓練後、固定された1つのスタイルに限定される既存のテキスト生成モデルの限界を解消すること。
• 単一のジェネレーターモデルを用いて動的スタイル転送を可能にすること。
• 事前に定義されたスタイルラベルではなく、参照例に条件付けられた生成フレームワークの開発。
• スタイルガイドドテキスト生成に適したネットワークアーキテクチャと訓練目的の特定。
• 複数のテキストスタイルを含む多様な新規収集データセット上でフレームワークの評価。

提案手法

• フレームワークは、参照例テキストから潜在的スタイルコードを抽出するスタイルエンコーダを用いる。
• トランスフォーマーベースのテキストデコーダが、入力文脈および抽出されたスタイルコードに条件付けられた出力段落を生成する。
• 生成テキストの品質およびスタイルの一貫性を向上させるために、生成的対抗訓練目的を導入する。
• 識別器もトランスフォーマー構造に基づき、スタイルの忠実度を保持しつつ、本物のテキストと生成されたテキストを区別する。
• 明示的なスタイルアノテーションを一切使用せず、参照例と文脈入力のみを用いて教師なしでモデルを訓練する。
• 異なるジェネレーターアーキテクチャと訓練戦略を評価し、最適な設計選択を同定する。

実験結果

リサーチクエスチョン

• RQ1 1つのジェネレーターモデルが、参照例に基づいて複数のスタイルに動的に適応してテキストを生成できるか？
• RQ2 提案された対抗訓練目的は、スタイルの一貫性と文の流れのなめらかさを向上させるのにどの程度有効か？
• RQ3 本フレームワークにおけるスタイルエンコーダおよびテキストデコーダの最適なアーキテクチャ選択は何か？
• RQ4 ニュース、レビュー、子供向けの本など多様なテキストスタイルに、モデルはどの程度一般化できるか？
• RQ5 ゼロショットスタイル転送において、モデルは強力なベースラインをどの程度上回るか？

主な発見

• 提案されたフレームワークは、ニュース、Yelpレビュー、子供向けの本、医療レポートなど多様なスタイルにおいて、一貫性がありスタイルに合った段落を効果的に生成した。
• 定性的な結果から、生成テキストが参照例のスタイルと非常に近いものであることが示され、ニュースとレビューのように著しく異なるスタイルに対しても同様に有効であった。
• 自動評価および人間評価の両方の指標で優れたパフォーマンスを達成し、スタイル転送および文の流れのなめらかさにおいて強力なベースラインを上回った。
• アブレーションスタディにより、提案された対抗訓練目的が生成品質およびスタイルへの適合性を顕著に向上させることを確認した。
• 微調整なしに未学習のスタイルに対しても一般化がうまくいき、効果的なゼロショットスタイル転送を示した。
• 異なるアーキテクチャ設定に対してもモデルの性能が安定しており、トランスフォーマーベースの設計が最も効果的であることが判明した。