[論文レビュー] Steering Output Style and Topic in Neural Response Generation

Di Wang, Nebojša Jojić+2 more|arXiv (Cornell University)|Sep 9, 2017

Topic Modeling参考文献 29被引用数 12

ひとこと要約

本論文は、微調整と選択的サンプリングデコードを用いて、特定のスタイル（例：スターウォーズ、JFK）に従い、トピック制約に従って出力を生成できる柔軟なフレームワークを提案する。人的評価では、本手法が応答品質を損なうことなくスタイルとトピックの制御を効果的に実現しており、ベースラインと比較して統計的に有意な改善を達成した。

ABSTRACT

We propose simple and flexible training and decoding methods for influencing output style and topic in neural encoder-decoder based language generation. This capability is desirable in a variety of applications, including conversational systems, where successful agents need to produce language in a specific style and generate responses steered by a human puppeteer or external knowledge. We decompose the neural generation process into empirically easier sub-problems: a faithfulness model and a decoding method based on selective-sampling. We also describe training and sampling algorithms that bias the generation process with a specific language style restriction, or a topic restriction. Human evaluation results show that our proposed methods are able to restrict style and topic without degrading output quality in conversational tasks.

研究の動機と目的

• 著名な人物やフィクションの登場人物のような特定の言語的スタイルに従った応答生成モデルを可能にすること。
• トピックガイドラインを介して外部から応答内容を制御できることで、会話システムにおける的を射た応答を可能にすること。
• たとえば数千件の例文程度の限られたターゲットスタイルデータでも、スタイル制御の課題に取り組むこと。
• スタイルとトピックの制約を強制しても、応答の質と関連性を維持すること。
• チャットボットやソーシャルメディア作成ツールに適用可能な実用的で柔軟なフレームワークを開発すること。

提案手法

• 本手法は、スタイル制御とトピック制御を2つのコンponentsに分解する：忠実度モデルと選択的サンプリングデコード戦略。
• JFKの演説やスターウォーズの台本などの小規模なターゲットスタイルコーパスを微調整することで、ベースモデルを特定のキャラクターに適応させる。
• 選択的サンプリングデコードは、ターゲットスタイルおよびトピック制約の下での尤度に基づいて、候補トークンを動的に選択する。
• 強いベースラインとして、ターゲットキャラクターのコーパスから正確な一致を検索するランクベースの検索手法を用いる。
• 尤度に基づく生成と、キャラクター固有の制約を組み合わせることで、滑らかさとスタイルの忠実度のバランスをとる。
• 人的評価（AMT）を用いて評価し、平均意見スコア（MOS）と二値のスタイル／トピック評価を用いる。

実験結果

リサーチクエスチョン

• RQ1 少数の例文（たとえば数個）しか入手できない状況でも、神経応答生成モデルが特定の言語的スタイルに効果的に適合できるか？
• RQ2 トピック制約をデコードプロセスに効果的に統合できるか、応答の関連性を損なわずに行えるか？
• RQ3 スタイルとトピックの制約を強制しても、応答の質と滑らかさが維持または向上するか？
• RQ4 微調整、選択的サンプリング、検索の各手法は、スタイルとトピックの適合性においてどのように比較できるか？
• RQ5 自然で一貫性のある応答を維持しつつ、キャラクターのスタイルの識別性を高めることは可能か？

主な発見

• finetune-cg-style手法は、JFKキャラクターにおいて21%のスタイル一致率を達成し、10%のベースラインと比較して顕著に高い水準（p < 0.5%）を示した。
• finetune-cg-topic手法は、JFKキャラクターで33%のスタイル一致率を達成し、トピック制約下でも強いスタイル保持が確認された。
• スターウォーズキャラクターでは、27%のスタイル一致率を達成し、3%のベースラインを大きく上回った。
• シンガー・ソングライターのキャラクターでは、31%の最高のスタイル一致率を記録したが、品質の劣化も最も顕著で、楽曲の構造的自由度の高さが原因とされる。
• 選択的サンプリングに基づくすべての手法が、ヴァナイルサンプリングのベースラインよりも高い平均意見スコア（MOS）を達成しており、品質に顕著な低下は認められなかった。
• 検索とデコードを組み合わせたハイブリッドシステムは、純粋な生成または純粋な検索よりも優れており、手法の組み合わせによる実用的利点が示された。