[論文レビュー] Where to Go on Your Next Trip? Optimizing Travel Destinations Based on User Preferences

Julia Kiseleva, Melanie J.I. Mueller+7 more|UvA-DARE (University of Amsterdam)|Jun 2, 2015

Recommender Systems and Techniques参考文献 13被引用数 14

ひとこと要約

この論文では、Booking.comにおける旅行先の推薦を最適化するために、従来の評価スコアの代わりに複数基準のユーザー推薦（例：'ビーチ'、'ナイトライフ'）を用いたナイーブベイズベースのランク付けモデルを提案している。この手法は、過去のユーザー推薦を活用して目的地の関連性を予測し、大規模なA/Bテストにおいて生産環境のベースライン比で4.4%の有意なコンversion率の向上を達成した。オンライン計算コストは最小限に抑えられており、オフライン学習によるものである。

ABSTRACT

Recommendation based on user preferences is a common task for e-commerce websites. New recommendation algorithms are often evaluated by offline comparison to baseline algorithms such as recommending random or the most popular items. Here, we investigate how these algorithms themselves perform and compare to the operational production system in large scale online experiments in a real-world application. Specifically, we focus on recommending travel destinations at Booking.com, a major online travel site, to users searching for their preferred vacation activities. To build ranking models we use multi-criteria rating data provided by previous users after their stay at a destination. We implement three methods and compare them to the current baseline in Booking.com: random, most popular, and Naive Bayes. Our general conclusion is that, in an online A/B test with live users, our Naive-Bayes based ranker increased user engagement significantly over the current online system.

研究の動機と目的

• 従来の単一評価スコアの代わりに、複数基準のユーザー推薦を活用することで、旅行先の推薦におけるユーザー参加率を向上させること。
• 実世界のオンライン環境において、ランダム順位付け、人気ベース順位付け、およびナイーブベイズの3つの順位付け手法の性能を、既存の生産環境ベースラインと比較・評価すること。
• シンプルだがスケーラブルな推薦モデルが、大規模な産業応用におけるコンversion率に与える影響を評価すること。
• オフラインで学習された軽量モデルが、実世界の参加指標において、既存のシステムを顕著に上回ることを示すこと。

提案手法

• 著者らは、過去のユーザーが各目的地に対して提示した複数基準の推薦データを用い、それぞれの推薦がその目的地の肯定的特徴（例：'ビーチ'）を示している。
• ナイーブベイズ分類器をオフラインで学習し、ユーザーの希望アクティビティリストに基づいて、ある目的地が好まれる確率を予測する。
• 履歴的な推薦パターンから導かれた条件付き確率を用いて、ユーザーの好むアクティビティが与えられたもとでの各目的地の尤度を計算する。
• ナイーブベイズモデルの予測された関連スコアの降順に、目的地をランク付けする。
• オンラインA/Bテストを用いて、モデルの実ユーザー行動への影響を評価し、コンバージョン率を主な指標とする。
• システムはオンライン推論コストを最小限に抑える設計となっており、大部分の計算をオフラインで行っているため、生産環境での応答時間は1秒未満を確保している。

実験結果

リサーチクエスチョン

• RQ1 シンプルでオフラインで学習されたナイーブベイズモデルは、実世界の旅行先推薦において、現在の生産環境ベースラインを上回ることができるか？
• RQ2 複数基準の推薦データは、ランダム順位付けや人気ベース順位付けと比較して、ユーザー参加率をどのように向上させるか？
• RQ3 軽量なモデルは、オンライン計算負荷を増加させずに、コンバージョン率をどの程度向上させることができるか？
• RQ4 アクティビティベースの推薦を通じてユーザーの好みを活用することで、ユーザーインタラクションに測定可能な改善がもたらされるか？

主な発見

• ナイーブベイズランカーは、生産環境ベースライン比でコンバージョン率を4.4%向上させ、G検定のp値が93%であったため、統計的に有意であった。
• 生産環境ベースラインはランダム順位付けを顕著に上回り、人気ベース順位付けよりもわずかに優れていたが、有意差は認められなかった。
• ナイーブベイズモデルは、オンラインCPUおよびメモリ使用量への影響を最小限に抑え、生産環境でのスケーラビリティを実現した。
• 結果から、全体の評価スコアや明示的なフィードバックがなくても、複数基準の推薦データがユーザーの好みを効果的にモデル化できることを示した。
• この手法のシンプルさとスケーラビリティのおかげで、リアルタイム制約のある大規模産業応用に非常に適していることが明らかになった。