[논문 리뷰] What Do You Mean I'm Funny? Personalizing the Joke Skill of a Voice-Controlled Virtual Assistant

Alejandro Mottini, Amber Roy Chowdhury|arXiv (Cornell University)|2019. 12. 06.

AI in Service Interactions참고 문헌 14인용 수 5

한 줄 요약

이 논문은 음성 제어 가상 비서의 농담 전달 방식을 개인화하기 위해 암시적 사용자 피드백을 활용해 NLP 및 딥러닝 모델을 훈련시키는 방법을 제안한다. 두 가지 약한 지도 학습 전략—5분 재사용 및 1일 후 재방문—을 도입하여, 이들 레이블로 훈련된 모델이 히وري스틱 기반 베이스라인 대비 사용자 만족도와 농담 순위 정확도에서 유의미한 향상을 보였음을 입증한다. 트랜스포머 기반 모델은 오프라인 및 온라인 평가에서 로지스틱 회귀보다 뛰어난 성능을 보였다.

ABSTRACT

A considerable part of the success experienced by Voice-controlled virtual assistants (VVA) is due to the emotional and personalized experience they deliver, with humor being a key component in providing an engaging interaction. In this paper we describe methods used to improve the joke skill of a VVA through personalization. The first method, based on traditional NLP techniques, is robust and scalable. The others combine self-attentional network and multi-task learning to obtain better results, at the cost of added complexity. A significant challenge facing these systems is the lack of explicit user feedback needed to provide labels for the models. Instead, we explore the use of two implicit feedback-based labelling strategies. All models were evaluated on real production data. Online results show that models trained on any of the considered labels outperform a heuristic method, presenting a positive real-world impact on user satisfaction. Offline results suggest that the deep-learning approaches can improve the joke experience with respect to the other considered methods.

연구 동기 및 목표

• 사용자 선호도를 기반으로 음성 제어 가상 비서의 농담 전달 방식을 개인화하여 사용자 만족도를 향상시키기 위해.
• 농담 유머를 레이블링하기 위한 명시적 사용자 피드백이 부족한 문제를 암시적 피드백 신호를 활용하여 해결하기 위해.
• 농담 순위 매기기 위해 전통적인 NLP(로지스틱 회귀)와 딥러닝 모델(트랜스포머, BERT, CNN)을 평가하고 비교하기 위해.
• 암시적 피드백으로 훈련된 약한 지도 학습 모델이 실세계 배포에서 히وري스틱 농담 선택 방식을 능가할 수 있는지 확인하기 위해.
• 생산 환경 배포를 고려할 때 모델 정확도, 확장성, 추론 지연 간의 상충 관계를 평가하기 위해.

제안 방법

• 암시적 피드백 기반의 레이블링 전략 두 가지를 사용한다: '5분 재사용'(사용자가 5분 이내에 다른 농담을 요청하면 긍정으로 간주) 및 '1일 후 재방문'(사용자가 1~25시간 이내에 다시 돌아오면 긍정으로 간주).
• 수작업 특징을 기반으로 로지스틱 회귀(LR) 모델을 훈련시며, NLP 기반의 유머 특징(의미 조합, 모호성), 이벤트 기반 키워드(예: '산타') 및 평균/맥스 풀링된 서브워드 임베딩을 포함한다.
• 딥러닝 모델로는 커스터마이즈된 트랜스포머(DL-T), BERT(DL-BERT), CNN 기반 아키텍처(DL-CNN) 및 특수 주의 메커니즘과 수정된 손실 함수를 적용한 변형 모델을 포함한다.
• 모든 모델은 포oin-wise 순위 매기기용 이진 분류를 사용하며, 레이블 스무딩과 드롭아웃을 포함한 정규화를 위한 손실 함수를 적용한다.
• 특징으로는 사용자 수준(예: 국가 코드), 아이템 수준(농담 텍스트), 그리고 맥락 수준(요청 타임스탬프) 변수를 포함하며, 원핫 인코딩 및 정규화 등의 전처리를 수행한다.
• 하이퍼파라미터는 그리드 서치를 통해 튜닝되며, 학습률, 배치 크기, 정규화, 주의 헤드 수를 포함한다. 모델 복잡도는 지연 시간 제약 조건에 따라 조정된다.

실험 결과

연구 질문

• RQ1 재사용 및 재방문 행동과 같은 암시적 사용자 피드백 신호를 효과적으로 활용하여 농담 순위 매기기 모델 훈련을 위한 약한 레이블을 생성할 수 있는가?
• RQ2 트랜스포머, BERT와 같은 딥러닝 모델이 로지스틱 회귀와 같은 전통적 NLP 모델보다 음성 비서의 농담 선택 개인화에 얼마나 효과적인가?
• RQ3 특수 주의 메커니즘과 수정된 손실 함수와 같은 아키텍처 수정 사항이 농담 순위 매기기 성능에 어떤 영향을 미치는가?
• RQ4 암시적 피드백 레이블로 훈련된 모델이 실제 환경에서의 사용자 만족도 지표(예: 유저 유지를 포함한 대화 참여도)를 향상시키는가?
• RQ5 생산 환경에서의 개인화된 농담 기능 배포를 고려할 때, 모델 정확도, 추론 지연, 확장성 간의 상충 관계는 어떠한가?

주요 결과

• 5분 재사용 또는 1일 후 재방문 레이블로 훈련된 모델은 온라인 A/B 테스트에서 히وري스틱 기반 베이스라인을 상당히 뛰어넘었으며, 사용자 유지를 향상시키고 인터럽션 비율을 감소시켰다.
• 트랜스포머 기반 모델(DL-T)은 인기도 기반 베이스라인 대비 AUC-ROC에서 31% 상대적 향상과 전체 정확도에서 24% 향상을 기록했으며, 모든 다른 모델보다 뛰어난 성능을 보였다.
• BERT 기반 모델(DL-BERT)은 AUC-ROC에서 30% 상대적 향상과 정확도에서 27% 향상을 기록했지만, 모델 크기가 크기 때문에 추론 지연이 높았다(340M 파라미터).
• 트랜스포머 모델에 특수 주의 메커니즘과 수정된 손실 함수를 추가한 결과 성능 향상이 눈에 띄게 나타났으며, DL-T-noAtt와 DL-T-basic는 전체 모델 대비 성능이 떨어졌다.
• 상위 1위 정확도는 DL-BERT 기준으로 1.4, DL-T 기준으로 0.43 증가하여 가장 관련성이 높은 농담을 더 잘 순위 매겼다.
• 로지스틱 회귀 모델은 높은 성능과 낮은 지연 시간을 보였지만, 광범위한 특징 공학 작업이 필요했고, 새로운 언어나 지역에 대한 확장성이 떨어졌다.