[論文レビュー] Rewarding Chatbots for Real-World Engagement with Millions of Users

Robert L. Irvine, Douglas Boubert+12 more|arXiv (Cornell University)|Mar 10, 2023

AI in Service Interactions被引用数 5

ひとこと要約

本稿では、実際のユーザー相互作用から得られる自動的擬似ラベルを用いて報酬モデルを訓練し、推論時に低品質な応答をフィルタリングすることで、チャットボットの関与度をスケーラブルに向上させる手法を提案する。10,000名の日常ユーザーを対象としたA/Bテストにおいて、平均会話長が最大70%向上し、GPT-J 6Bモデルではユーザーの残留率が30%以上向上した。実世界のフィードバックが関与度最適化に有効であることを示している。

ABSTRACT

The emergence of pretrained large language models has led to the deployment of a range of social chatbots for chitchat. Although these chatbots demonstrate language ability and fluency, they are not guaranteed to be engaging and can struggle to retain users. This work investigates the development of social chatbots that prioritize user engagement to enhance retention, specifically examining the use of human feedback to efficiently develop highly engaging chatbots. The proposed approach uses automatic pseudo-labels collected from user interactions to train a reward model that can be used to reject low-scoring sample responses generated by the chatbot model at inference time. Intuitive evaluation metrics, such as mean conversation length (MCL), are introduced as proxies to measure the level of engagement of deployed chatbots. A/B testing on groups of 10,000 new daily chatbot users on the Chai Research platform shows that this approach increases the MCL by up to 70%, which translates to a more than 30% increase in user retention for a GPT-J 6B model. Future work aims to use the reward model to realise a data fly-wheel, where the latest user conversations can be used to alternately fine-tune the language model and the reward model.

研究の動機と目的

• 人的アノテーションに比べ高コストな作業を回避するため、人的アノテーションに代わる実世界のユーザー相互作用を活用して、ソーシャルチャットボットのユーザー関与度と残留率を向上させること。
• 実際のユーザー行動から得られる自動的擬似ラベルを用いることで、人的フィードバックに依存するアライメント手法の代替手段として、スケーラブルで効率的な手法を開発すること。
• 平均会話長（MCL）やユーザー残留率といった直感的で行動ベースの評価指標を導入し、関与度を測定すること。
• 大規模なA/Bテストを通じて、報酬モデリング手法の有効性を検証すること（ミリオンユーザー規模のプラットフォームで実施）。
• 報酬モデルが異なるファインチューニング済み言語モデルやユーザー相互作用パターンに一般化できることを示すこと。

提案手法

• 本手法は、ユーザー相互作用から得られる自動的擬似ラベル——具体的には、応答後に会話が継続されるかどうか、またはユーザーが応答を再試行するかどうか——を関与度の代理指標として用いる。
• GPT-2ベースの報酬モデルを、これらの擬似ラベルでファインチューニングし、応答が会話継続に繋がる確率を予測する。
• 推論段階では、チャットボットが複数の応答候補を生成し、それらを報酬モデルでスコア付け、最も高いスコアの応答を選択する。
• 報酬モデルは、会話継続やユーザーの再試行を避ける応答を優先し、特に1〜2スターランクの低スコア応答を回避することを重視して訓練される。
• 本手法は二段階のプロセスを経る：まず、実ユーザー相互作用から擬似ラベルを収集する。次に、これらのラベルを用いて報酬モデルを訓練し、応答のフィルタリングに用いる。
• 異なる言語モデルに対しても一般化可能であることが示されており、ファインチューニング済みGPT-JおよびPygmalionファインチューニング済みGPT-Jモデルへの応用で成功を収めた。

Figure 1: Screenshot of one of the authors interacting with a highly engaging chatbot on the Chai platform.

実験結果

リサーチクエスチョン

• RQ1 実ユーザー相互作用から得られる自動的擬似ラベルが、チャットボットの関与度向上のための報酬モデル訓練において、高コストな人的フィードバックに効果的に代替可能か？
• RQ2 擬似ラベルで訓練された報酬モデルを用いることで、実世界の展開において平均会話長とユーザー残留率が顕著に向上するか？
• RQ3 データセットサイズやモデルスケールの変化に伴い、報酬モデルの性能はどのように変化するか？
• RQ4 報酬モデルは、異なるファインチューニング済み言語モデルや会話スタイルに一般化可能か？
• RQ5 会話継続やユーザー再試行行動といった異なる関与度の代理指標の中で、MCLと残留率の向上に最も寄与するのはどれか？

主な発見

• 最良の性能を示した報酬モデルを用いた応答選択により、10,000名の日常ユーザーを対象としたA/Bテストで平均会話長（MCL）が最大70%向上した。
• GPT-J 6Bモデルでは、ユーザー残留率が30%以上向上し、実世界への強いインパクトを示した。
• 報酬モデルの改善効果は、4スターランクの応答を促進するよりも、1〜2スターランクの低スコア応答を回避することに焦点を当てた場合に顕著に高まった。
• 報酬モデルのパラメータ数を10倍に増加させた場合、MCLは+5.0±1.1%向上したが、同じ程度に訓練データセットサイズを増加させた場合、より大きな+11.4±1.0%の向上が得られた。
• 報酬モデルは異なるファインチューニング済みGPT-Jモデルに一般化可能であり、Pygmalionファインチューニング済みGPT-Jに適用した場合、MCLは+37.22±0.50%向上した（モデル選択のみで+16.71±0.48%向上）。
• 継続性と再試行なしの2つの擬似ラベルのアンサンブルは有望な結果を示したが、完全には検証されていないため、さらなる向上の余地があると考えられる。

Figure 2: Scaling of the percentage improvement in Mean Conversation Length (MCL) with the dataset size that our GPT-2 reward model is trained on. Each of the three sets of datapoints corresponds to a separate A/B experiment run on the Chai platform. The grey dashed line is a linear regression fit o