[논문 리뷰] Rewarding Chatbots for Real-World Engagement with Millions of Users

Robert L. Irvine, Douglas Boubert외 12명|arXiv (Cornell University)|2023. 03. 10.

AI in Service Interactions인용 수 5

한 줄 요약

이 논문은 실제 사용자 상호작용에서 유도된 자동 생성된 가짜 레이블을 기반으로 보상 모델을 훈련시켜 추론 시 저품질 응답을 걸러내는 확장 가능한 방법을 제안한다. 10,000명의 일일 사용자를 대상으로 한 A/B 테스트에서, GPT-J 6B 모델을 사용해 평균 대화 길이를 최대 70% 증가시키고 사용자 유지를 30% 이상 향상시켰다. 이는 실세계 피드백을 통한 참여도 최적화의 효과를 입증한다.

ABSTRACT

The emergence of pretrained large language models has led to the deployment of a range of social chatbots for chitchat. Although these chatbots demonstrate language ability and fluency, they are not guaranteed to be engaging and can struggle to retain users. This work investigates the development of social chatbots that prioritize user engagement to enhance retention, specifically examining the use of human feedback to efficiently develop highly engaging chatbots. The proposed approach uses automatic pseudo-labels collected from user interactions to train a reward model that can be used to reject low-scoring sample responses generated by the chatbot model at inference time. Intuitive evaluation metrics, such as mean conversation length (MCL), are introduced as proxies to measure the level of engagement of deployed chatbots. A/B testing on groups of 10,000 new daily chatbot users on the Chai Research platform shows that this approach increases the MCL by up to 70%, which translates to a more than 30% increase in user retention for a GPT-J 6B model. Future work aims to use the reward model to realise a data fly-wheel, where the latest user conversations can be used to alternately fine-tune the language model and the reward model.

연구 동기 및 목표

• 인간 애너테이션에 비해 비용이 많이 들지 않는 실세계 사용자 상호작용을 활용하여 소셜 챗봇의 사용자 참여도와 유지를 향상시키는 것.
• 실제 사용자 행동에서 유도된 자동 가짜 레이블을 사용해 인간 피드백 기반 정렬의 확장 가능하고 효율적인 대안을 개발하는 것.
• 평균 대화 길이(MCL) 및 사용자 유지와 같은 직관적인 행동 기반 평가 지표를 도입하여 참여도를 측정하는 것.
• 수백만 명의 사용자가 참여하는 플랫폼에서 대규모 A/B 테스트를 통해 보상 모델링 방법의 효과성을 검증하는 것.
• 다양한 파인튜닝된 언어 모델과 사용자 상호작용 패턴에 걸쳐 보상 모델의 일반화 능력을 입증하는 것.

제안 방법

• 이 방법은 사용자 상호작용에서 수집한 자동 가짜 레이블을 사용한다. 특히, 응답 후 대화가 계속되는지 여부 또는 사용자가 응답을 재시도하는지 여부를 참여도의 대체 지표로 사용한다.
• GPT-2 기반의 보상 모델을 이러한 가짜 레이블에 대해 파인튜닝하여, 응답이 대화를 계속 이어갈 가능성을 예측하도록 한다.
• 추론 시, 챗봇은 여러 개의 응답 후보를 생성하고, 보상 모델이 이를 점수 매기며 점수가 가장 높은 응답을 선택한다.
• 보상 모델은 대화가 계속되는 응답과 사용자가 재시도하지 않는 응답을 우선시하며, 특히 1점 또는 2점의 낮은 점수를 받는 응답을 피하는 데 초점을 맞춘다.
• 이 방법은 두 단계 과정을 거친다. 첫 번째로 실제 사용자 상호작용에서 가짜 레이블을 수집하고, 두 번째로 이러한 레이블을 사용해 응답 필터링을 위한 보상 모델을 훈련시킨다.
• 다양한 언어 모델에 대해 일반화 가능하며, 파인튜닝된 GPT-J와 Pygmalion 파인튜닝된 GPT-J 모델 모두에서 성공적으로 적용된 바 있다.

Figure 1: Screenshot of one of the authors interacting with a highly engaging chatbot on the Chai platform.

실험 결과

연구 질문

• RQ1 실제 사용자 상호작용에서 유도된 자동 가짜 레이블이 챗봇 참여도 향상을 위한 보상 모델 훈련에 비용이 많이 드는 인간 피드백을 효과적으로 대체할 수 있는가?
• RQ2 가짜 레이블 기반으로 훈련된 보상 모델을 사용하면 실세계 배포에서 평균 대화 길이와 사용자 유지에 뚜렷한 향상이 이루어지는가?
• RQ3 데이터셋 크기와 모델 규모의 변화에 따라 보상 모델의 성능은 어떻게 변하는가?
• RQ4 다양한 파인튜닝된 언어 모델과 대화 스타일에 걸쳐 보상 모델이 일반화 가능한가?
• RQ5 대화 계속 여부, 사용자 재시도 행동 등의 참여도 대체 지표 중 어느 것이 MCL과 유지를 가장 강력하게 향상시키는가?

주요 결과

• 가장 성능이 뛰어난 보상 모델을 사용해 응답을 선택함으로써, 10,000명의 일일 사용자를 대상으로 한 A/B 테스트에서 평균 대화 길이(MCL)가 최대 70% 증가했다.
• GPT-J 6B 모델에 대해 사용자 유지를 30% 이상 증가시켜 실세계에서의 강력한 영향을 입증했다.
• 낮은 점수(1점 또는 2점)를 받는 응답을 피하는 데 집중할 때 보다 성능 향상이 더 효과적이었으며, 높은 점수(4점)를 받는 응답을 장려하는 것보다 효과적이었다.
• 보상 모델의 파arameter 수를 10배로 늘리면 MCL이 +5.0±1.1% 향상되었지만, 동일한 비율로 훈련 데이터셋 크기를 늘였을 경우 더 큰 +11.4±1.0% 향상이 이루어졌다.
• 보상 모델은 다양한 파인튜닝된 GPT-J 모델에 대해 일반화되었으며, Pygmalion 파인튜닝된 GPT-J에 적용했을 때 MCL이 +37.22±0.50% 향상되었고, 모델 선택만으로도 +16.71±0.48% 향상된 것과 비교해 보다 높은 성능을 보였다.
• 대화 계속 여부, 재시도 없음 등의 다수의 가짜 레이블을 조합한 방식은 가능성은 있었지만 완전히 탐색되지는 않았으며, 향후 더 큰 성과 향상이 가능할 것으로 보인다.

Figure 2: Scaling of the percentage improvement in Mean Conversation Length (MCL) with the dataset size that our GPT-2 reward model is trained on. Each of the three sets of datapoints corresponds to a separate A/B experiment run on the Chai platform. The grey dashed line is a linear regression fit o