[論文レビュー] Controlling Style in Generated Dialogue

Eric M. Smith, Diana Gonzalez-Rico+2 more|arXiv (Cornell University)|Sep 22, 2020

Topic Modeling参考文献 29被引用数 34

ひとこと要約

本研究は、オープンドメイン対話に対してスタイルを約217のターゲットスタイルにわたって制御するため、3つの制御可能な生成手法を適用し、リトリーブ＆スタイル転送、プラグアンドプレイ改良、最先端対話モデル上での条件付き生成を比較する。ファインチューニングされた条件付き生成が、ターゲットスタイルへ一致させる性能と推論速度の点で最も優れている。

ABSTRACT

Open-domain conversation models have become good at generating natural-sounding dialogue, using very large architectures with billions of trainable parameters. The vast training data required to train these architectures aggregates many different styles, tones, and qualities. Using that data to train a single model makes it difficult to use the model as a consistent conversational agent, e.g. with a stable set of persona traits and a typical style of expression. Several architectures affording control mechanisms over generation architectures have been proposed, each with different trade-offs. However, it remains unclear whether their use in dialogue is viable, and what the trade-offs look like with the most recent state-of-the-art conversational architectures. In this work, we adapt three previously proposed controllable generation architectures to open-domain dialogue generation, controlling the style of the generation to match one among about 200 possible styles. We compare their respective performance and tradeoffs, and show how they can be used to provide insights into existing conversational datasets, and generate a varied set of styled conversation replies.

研究の動機と目的

• オープンドメイン対話モデルを diverse データで訓練する際の安定したペルソナとスタイルの必要性を動機づける。
• 対話のための3つの controllable generation アプローチを評価する：リトリーブ＆スタイル転送、プラグアンドプレイ改良、条件付き生成。
• スタイル制御の正確さ、訓練/推論コスト、他の対話指標への影響のトレードオフを定量化する。
• スタイル条件付けのためにイン-domain データにラベルを付ける実用的なパイプラインを実証し、新しいスタイル空間への一般化を検証する。

提案手法

• 対話へ3つの controllable generation アーキテクチャを適用する：リトリーブ＆スタイル転送（RnST）、リトリーブ済み文脈でのスタイル条件付けを行うプラグアンドプレイ言語モデル（PPLM）改良、条件付き生成（C）。
• Image-Chat の217スタイル空間からスタイル制御分類器と生成モデルを訓練・評価する。
• 推論可能なスタイル条件付き生成を実現するために、D+（推定または提供されたスタイルラベルで拡張された D）で生成モデルをファインチューニングする。
• 自動化されたスタイル制御精度、人間の判断、会話品質指標の観点で性能を比較する。
• 各アプローチの訓練/推論のリソースコストと実用的な展開を評価する。

実験結果

リサーチクエスチョン

• RQ1 オープンドメイン対話モデルは、 larg e なスタイル空間にわたって指定されたターゲットスタイルを信頼性高く生成できるか？
• RQ2 スタイル制御におけるリトリーブ＆転送、反復改良、条件付き生成のトレードオフは何か？
• RQ3 スタイル転送は画像に基づくスタイルラベルから純粋なテキスト対話へどの程度一般化するのか？
• RQ4 ラベル付けされていない対話データに対して実用的なパイプラインを用い、効果的なスタイル条件付きファインチューニングを有効にできるか？
• RQ5 スタイル制御手法は、関連性や流暢さといった中核対話指標にどのような影響を与えるか？

主な発見

モデル	BST	IC
RnST-IC+D	3.3%	15.8%
C100-IC+D	5.7%	16.7%

• ファインチューニングされた条件付き生成（C）は、ターゲットスタイルの一致と他の対話指標の維持の点で、代替手法より最も強い性能を発揮する。
• リトリーブされた文脈でのスタイル条件付けを伴うRnST は、純粋な生成よりスタイル制御が弱く、スタイル精度を低下させる可能性がある。
• PPLM ベースの改良は柔軟で粒度の高い制御を提供するが、推論時には計算コストが高く、ここで使用される大規模な217スタイル空間では恩恵が限定的。
• ラベル付きデータセット上で訓練された分類器を用いて未ラベルデータをラベル付けする実用的なラベリング手法（D+）は、標準的な対話データセットで効果的なスタイル条件付きファインチューニングを可能にする。
• 最も高性能なモデル（C100/C75）は、スタイル制御を有意に改善し、テーブル化されたスタイル精度の向上と合理的なパープレキシティを実現し、反復的改良と比較して推論を効率化する。
• 本研究は、分類器を訓練できる任意のスタイル空間に対してスタイル条件付けを適用するための一般化可能なパイプラインを提供する。