[논문 리뷰] Where to Go on Your Next Trip? Optimizing Travel Destinations Based on User Preferences

Julia Kiseleva, Melanie J.I. Mueller외 7명|UvA-DARE (University of Amsterdam)|2015. 06. 02.

Recommender Systems and Techniques참고 문헌 13인용 수 14

한 줄 요약

이 논문은 기존의 단일 평점 대신 '해변', '야간 생활'과 같은 다기준 사용자 추천(예: 'Beach', 'Nightlife')을 사용하여 Booking.com에서 여행 목적지 추천을 최적화하기 위해 나이브 베이즈 기반 랭킹 모델을 제안한다. 이 방법은 과거 사용자 추천 데이터를 활용해 목적지의 관련성을 예측하며, 대규모 A/B 테스트에서 생산 기반 모델 대비 전환율이 4.4% 유의미하게 향상되었고, 오프라인 학습 덕분에 온라인 계산 비용이 최소화되었다.

ABSTRACT

Recommendation based on user preferences is a common task for e-commerce websites. New recommendation algorithms are often evaluated by offline comparison to baseline algorithms such as recommending random or the most popular items. Here, we investigate how these algorithms themselves perform and compare to the operational production system in large scale online experiments in a real-world application. Specifically, we focus on recommending travel destinations at Booking.com, a major online travel site, to users searching for their preferred vacation activities. To build ranking models we use multi-criteria rating data provided by previous users after their stay at a destination. We implement three methods and compare them to the current baseline in Booking.com: random, most popular, and Naive Bayes. Our general conclusion is that, in an online A/B test with live users, our Naive-Bayes based ranker increased user engagement significantly over the current online system.

연구 동기 및 목표

• 기존의 단일 평점 대신 다기준 사용자 추천을 활용하여 여행 목적지 추천의 사용자 참여도를 향상시키는 것.
• 실제 온라인 환경에서 기존 생산 기반 모델과 비교해 세 가지 랭킹 방법(랜덤, 인기 기반, 나이브 베이즈)의 성능을 평가하고 비교하는 것.
• 간단하지만 확장 가능한 추천 모델이 대규모 산업 응용 프로그램에서 전환율에 어떤 영향을 미치는지 평가하는 것.
• 오프라인으로 학습된 경량 모델이 실세계의 참여 지표에서 기존 시스템을 크게 능가할 수 있음을 보여주는 것.

제안 방법

• 저자는 과거 사용자로부터의 다기준 추천 데이터를 사용하며, 각 추천은 목적지의 긍정적 특성(예: 'Beach')을 나타낸다.
• 나이브 베이즈 분류기가 오프라인으로 학습되어, 사용자의 선호 활동 목록을 바탕으로 목적지가 선호될 확률을 예측한다.
• 역사적 추천 패턴에서 유도된 조건부 확률을 사용해, 사용자가 선호하는 활동이 있는 경우 각 목적지의 가능성 확률을 계산한다.
• 랭킹은 나이브 베이즈 모델이 예측한 관련성 점수에 따라 목적지를 정렬함으로써 결정된다.
• 온라인 A/B 테스트를 통해 모델이 실제 사용자 행동에 미치는 영향을 평가하며, 전환율을 주요 지표로 사용한다.
• 대부분의 계산을 오프라인으로 수행하여 온라인 추론 비용을 최소화하고, 생산 환경에서 밀리초 이내의 반응 시간을 확보하도록 설계되었다.

실험 결과

연구 질문

• RQ1 간단하고 오프라인으로 학습된 나이브 베이즈 모델이 실세계의 여행 목적지 추천에서 현재 생산 기반 모델을 능가할 수 있는가?
• RQ2 다기준 추천 데이터는 랜덤 또는 인기 기반 랭킹 대비 사용자 참여도를 얼마나 잘 이끌 수 있는가?
• RQ3 경량 모델은 온라인 계산 부담을 늘리지 않고 전환율을 얼마나 향상시킬 수 있는가?
• RQ4 활동 기반 추천을 통해 사용자 선호도를 활용하면 사용자 상호작용에 측정 가능한 향상이 이루어지는가?

주요 결과

• 나이브 베이즈 랭커는 생산 기반 모델 대비 전환율을 4.4% 향상시켰으며, G-검정 p-값이 93%로 통계적으로 유의미함을 나타낸다.
• 생산 기반 모델은 랜덤 랭킹보다 유의미하게 뛰어나며, 인기 기반 랭킹보다 略적으로 우수했지만 유의미한 차이가 없었다.
• 나이브 베이즈 모델은 온라인 CPU 및 메모리 사용량에 거의 영향을 주지 않아 생산 환경에서의 확장성을 확보했다.
• 결과는 전체 평점이나 명시적 피드백이 없더라도 다기준 추천 데이터가 사용자 선호도를 효과적으로 모델링할 수 있음을 보여준다.
• 이 접근의 단순성과 확장성은 실시간 성능 제약 조건이 있는 대규모 산업 응용 프로그램에 매우 적합하다.