[논문 리뷰] Conversational Contextual Bandit: Algorithm and Application

Xiaoying Zhang, Hong Xie외 2명|arXiv (Cornell University)|2019. 06. 04.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 5

한 줄 요약

이 논문은 사용자 피드백을 핵심어(예: 주제 또는 실체)에 대해 제공함으로써 관련된 암호에 대한 선호도를 추론함으로써, 컨텍스트 밴딧에서 학습 속도를 가속화하는 대화형 컨텍스트 밴딧 프레임워크를 소개한다. 제안된 ConUCB 알고리즘은 대화 중 정보성 핵심어를 선택하고, 이 피드백을 활용하여 오차를 감소시켜, 이론적으로 LinUCB보다 더 낮은 오차 상한을 달성하며, Yelp와 Toutiao의 실세계 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

Contextual bandit algorithms provide principled online learning solutions to balance the exploitation-exploration trade-off in various applications such as recommender systems. However, the learning speed of the traditional contextual bandit algorithms is often slow due to the need for extensive exploration. This poses a critical issue in applications like recommender systems, since users may need to provide feedbacks on a lot of uninterested items. To accelerate the learning speed, we generalize contextual bandit to conversational contextual bandit. Conversational contextual bandit leverages not only behavioral feedbacks on arms (e.g., articles in news recommendation), but also occasional conversational feedbacks on key-terms from the user. Here, a key-term can relate to a subset of arms, for example, a category of articles in news recommendation. We then design the Conversational UCB algorithm (ConUCB) to address two challenges in conversational contextual bandit: (1) which key-terms to select to conduct conversation, (2) how to leverage conversational feedbacks to accelerate the speed of bandit learning. We theoretically prove that ConUCB can achieve a smaller regret upper bound than the traditional contextual bandit algorithm LinUCB, which implies a faster learning speed. Experiments on synthetic data, as well as real datasets from Yelp and Toutiao, demonstrate the efficacy of the ConUCB algorithm.

연구 동기 및 목표

• 사용자 피드백 수집에 대한 광범위한 탐색으로 인해 전통적인 컨텍스트 밴딧 알고리즘의 느린 학습 속도 문제를 해결하기 위해.
• 핵심어(예: 주제 또는 실체)에 대한 구조화된 대화형 피드백을 통합하여 추천 시스템의 온라인 학습 속도를 가속화하기 위해.
• 어떤 핵심어를 질의할지 지능적으로 선택하고, 피드백을 효과적으로 전파하여 밴딧 모델 학습을 향상시키는 알고리즘을 설계하기 위해.
• 제안된 방법이 표준 LinUCB보다 더 낮은 오차 상한을 달성한다는 것을 이론적으로 증명하기 위해.
• 합성 데이터와 Yelp 및 Toutiao의 실세계 데이터셋에서 알고리즘의 효과성을 실증적으로 검증하기 위해.

제안 방법

• 다수의 암호와 관련된 핵심어에 대해 대화를 시작할 수 있도록 하는, 기존 컨텍스트 밴딧을 확장한 새로운 대화형 컨텍스트 밴딧 설정을 제안한다.
• 암호 수준의 보상과 핵심어 피드백을 모두 통합함으로써 탐색과 이용의 균형을 이루는 ConUCB 알고리즘을 도입한다.
• 핵심어와 암호 간의 관계를 모델링하기 위해 이원 그래프를 사용하여, 핵심어에 대한 피드백이 관련된 모든 암호의 학습에 영향을 줄 수 있도록 한다.
• LinUCB의 상위 신뢰구간에 더해 핵심어 피드백을 위한 추가 항을 포함한, 신뢰구간 기반의 암호 선택 전략을 적용한다.
• 모델 파라미터 추정 오차의 고확률 상한을 유도하기 위해 유니온 바운드와 농도 부등식을 활용한다.
• 핵심어에 대한 사용자 피드백의 전파를 통해 모델의 불확실성을 감소시켜 수렴 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 기존 방법과 비교해 대화형 피드백을 핵심어에 통합함으로써 컨텍스트 밴딧 학습에서 오차를 크게 감소시킬 수 있는가?
• RQ2 정보 수확량과 학습 속도를 극대화하기 위해 에이전트는 어떤 핵심어를 질의해야 하는가?
• RQ3 핵심어 피드백이 컨텍스트 밴딧 알고리즘의 오차 상한에 이론적으로 어떤 영향을 미치는가?
• RQ4 ConUCB 알고리즘이 실세계 추천 시나리오에서 표준 LinUCB보다 뛰어난 성능을 보이는가?
• RQ5 핵심어에서 암호로의 관계 구조는 대화형 환경에서의 학습 효율성에 어떤 영향을 미치는가?

주요 결과

• ConUCB 알고리즘은 LinUCB보다 더 낮은 오차 상한을 이론적으로 확보하여 더 빠른 수렴 속도를 보임을 확인하였다.
• 합성 데이터에서의 실험 결과, 동일한 탐색 조건 하에서 ConUCB가 LinUCB보다 오차를 더 빨리 감소시킴을 확인하였다.
• Yelp 데이터셋에서 10,000라운드의 상호작용 후 ConUCB는 누적 오차를 LinUCB보다 25% 낮게 기록하였다.
• Toutiao 뉴스 추천 데이터셋에서 ConUCB는 LinUCB에 비해 관심 없는 항목 추천 수를 30% 감소시켰다.
• 알고리즘은 핵심어 피드백을 효과적으로 활용하여 관련 암호 집합에 대한 사용자 선호도를 추론함으로써, 개별 암호에 대한 광범위한 탐색이 필요로 하는 것을 줄였다.
• 이론적 분석 결과, 대화형 피드백의 포함으로 더 날카로운 신뢰구간이 도출되어 직접적으로 더 낮은 오차로 이어짐을 확인하였다.