[論文レビュー] Unsupervised Contextual Paraphrase Generation using Lexical Control and Reinforcement Learning

Sonal Garg, Sumanth Prabhu+2 more|arXiv (Cornell University)|Mar 23, 2021

Topic Modeling参考文献 38被引用数 10

ひとこと要約

本稿では、文脈的制御と強化学習（RL）を用いた教師なしフレームワークを提案し、カスタマーサポートチャットにおけるエージェント応答の文脈的仮説的言い換えを生成する。元の応答からのキーワードと会話文脈を組み合わせることで、多様で流暢で意味的に類似した言い換えを生成し、複合的評価指標（意味的類似度、テクスト帰属関係、表現多様性、文の流暢さ）を用いたRLファインチューニングにより、最高の性能（F1スコア 0.753）を達成した。

ABSTRACT

Customer support via chat requires agents to resolve customer queries with minimum wait time and maximum customer satisfaction. Given that the agents as well as the customers can have varying levels of literacy, the overall quality of responses provided by the agents tend to be poor if they are not predefined. But using only static responses can lead to customer detraction as the customers tend to feel that they are no longer interacting with a human. Hence, it is vital to have variations of the static responses to reduce monotonicity of the responses. However, maintaining a list of such variations can be expensive. Given the conversation context and the agent response, we propose an unsupervised frame-work to generate contextual paraphrases using autoregressive models. We also propose an automated metric based on Semantic Similarity, Textual Entailment, Expression Diversity and Fluency to evaluate the quality of contextual paraphrases and demonstrate performance improvement with Reinforcement Learning (RL) fine-tuning using the automated metric as the reward function.

研究の動機と目的

• カスタマーサポートチャットにおける単調で機械的な応答がユーザー体験を損なうという課題に取り組む。これは、応答の質が高くても同様に発生する。
• ラベル付き学習データを必要とせず、多様で文脈的に適切で流暢な言い換えを、事前に定義されたエージェントの応答から生成する。
• 意味的類似度、テキスト帰属関係、表現多様性、文の流暢さを統合した自動評価指標を開発し、言い換えの質を評価する。
• 複合的指標を報酬関数として用いた強化学習によるファインチューニングにより、言い換えの質を向上させる。
• 意図を保持しつつ自然さと表現の豊かさを向上させる、教師なしで文脈に配慮した言い換え生成を実現する。

提案手法

• 初期の言い換え生成のため、教師なしでファインチューニングされた自己回帰型言語モデル（GPT-2）を用いる。
• 元のエージェント応答からのキーワードを制御信号として挿入することで、語義的内容を保持する語彙的制御を実施する。
• 生成中に会話文脈を統合し、文脈的関連性と一貫性を確保する。
• 複合的自動評価指標を採用：意味的類似度にはBERTScore、テキスト帰属関係にはカスタムモデル、表現多様性にはBLEUベースの指標、文の流暢さにはカスタムモデルを用いる。
• 複合的指標を報酬信号として用いて、言い換え品質の最適化を図る強化学習ポリシーを訓練する。
• トレーニング中にサンプリングベースの制御語挿入を実施し、語義的正確性を維持しながら表現多様性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 文脈と語彙的制御のみを用いて、カスタマーサポートチャット応答への教師なし言い換え生成を効果的に適用できるか？
• RQ2 文脈と制御語を組み合わせることで、生成された言い換えの流暢さ、多様性、意味的類似度にどのような影響を与えるか？
• RQ3 意味的類似度、テキスト帰属関係、表現多様性、文の流暢さを統合した複合的自動指標が、人的評価の代替として有効に機能するか？
• RQ4 複合的指標を報酬関数として用いた強化学習によるファインチューニングは、ベースラインの教師なし手法に比べて言い換えの質を顕著に向上させるか？
• RQ5 制御語にノイズやサンプリングを加えることで、生成された言い換えにおける多様性と関連性のトレードオフにどのような影響を与えるか？

主な発見

• RLベースのファインチューニング手法が、全体の複合スコア0.753という最高のスコアを達成し、2番目に良い手法（'Only Context'、M=0.744、p=9.3e-8）を顕著に上回った。
• 'Only Context'ベースラインは高い表現多様性を達成したが、意味的類似度とテキスト帰属関係は低く、多様性と内容の正確性のトレードオフが顕在化した。
• 'Only Control Words'アプローチは高い意味的類似度を達成したが、語彙的バイアスのため表現多様性が低く、バランスの取れた制御の必要性を裏付けた。
• 制御語にランダムなノイズを加えることで多様性は向上したが、流暢さと関連性が低下し、制御されていない摂動のリスクを示した。
• トレーニング中に制御語をサンプリングすることで、高い意味的類似度と流暢さを維持しながら表現多様性を向上させ、ノイズ挿入を上回る性能を達成した。
• 人的評価により、自動指標スコアと人的アノテーションの間に強い一致が確認され、複合的指標の信頼性が裏付けられた。