[論文レビュー] Hotel2vec: Learning Attribute-Aware Hotel Embeddings with Self-Supervision

Ali Sadeghian, Shervin Minaee+4 more|arXiv (Cornell University)|Sep 30, 2019

Recommender Systems and Techniques参考文献 20被引用数 7

ひとこと要約

本稿では、ユーザーのクリック履歴、構造化されたホテル属性（例：星評価、アメニティ）、地理的情報を統合的にモデル化することで、属性に配慮したホテル埋め込みを学習する自己教師型ニューラルネットワーク、Hotel2vecを提案する。これらの信号を統合された解釈可能な埋め込みに統合することで、特に新規ホテル（コールドスタート）に対する推薦性能が著しく向上し、クリックのみのベースラインと比較してコールドスタート状況下で最大4.71 hits@10の向上を達成した。

ABSTRACT

We propose a neural network architecture for learning vector representations of hotels. Unlike previous works, which typically only use user click information for learning item embeddings, we propose a framework that combines several sources of data, including user clicks, hotel attributes (e.g., property type, star rating, average user rating), amenity information (e.g., the hotel has free Wi-Fi or free breakfast), and geographic information. During model training, a joint embedding is learned from all of the above information. We show that including structured attributes about hotels enables us to make better predictions in a downstream task than when we rely exclusively on click data. We train our embedding model on more than 40 million user click sessions from a leading online travel platform and learn embeddings for more than one million hotels. Our final learned embeddings integrate distinct sub-embeddings for user clicks, hotel attributes, and geographic information, providing an interpretable representation that can be used flexibly depending on the application. We show empirically that our model generates high-quality representations that boost the performance of a hotel recommendation system in addition to other applications. An important advantage of the proposed neural model is that it addresses the cold-start problem for hotels with insufficient historical click information by incorporating additional hotel attributes which are available for all hotels.

研究の動機と目的

• クリック履歴が限られているあるいは存在しないホテルに対して、構造化されたメタデータを活用することでコールドスタート問題を緩和すること。
• クリックストリームデータのみに依存する場合よりも、ホテル埋め込みの質を向上させること。
• 評価、アメニティ、位置など、ホテルの複数の意味的側面を分離・統合できる柔軟で解釈可能な埋め込みフレームワークを構築すること。
• ホテル属性の変更時に、完全な再トレーニングなしに埋め込みを動的に更新できること。
• 構造化された属性を統合することで、推薦タスクにおける下流のパフォーマンスが向上することを実証すること。

提案手法

• スイップグラムモデルを拡張し、ユーザーのクリック履歴、ホテル属性（例：星評価、無料Wi-Fi）、ユーザー評価、地理座標の複数の情報源を同時に符号化する。
• 各モodal（クリック、属性、位置、評価）ごとに個別のサブ埋め込みを学習し、それらを統合して各ホテルの単一の統合埋め込みに統合する。
• 大手オンライン旅行プラットフォームの4,000万件以上のクリックセッションを用いて、自己教師学習で事前学習を実施し、100万件以上のホテルをカバーする。
• ネガティブサンプリングと指数関数的学習率減衰を伴う確率的勾配降下法を用いてモデル最適化を実施し、収束性と一般化性能を最適化するハイパーパrameterを調整する。
• 変更された属性（例：新しい星評価、追加されたアメニティ）のみを再エンコードすることで、完全な再トレーニングなしに埋め込みを動的に更新可能にする。
• 最終的な埋め込みを解釈可能な成分に分解し、クリック、位置、評価、属性からの寄与度を個別に分析可能にする。

実験結果

リサーチクエスチョン

• RQ1 クリックストリームデータに加えて構造化されたホテル属性を統合することで、クリックのみのモデルと比較して、学習されたホテル埋め込みの質が向上するか？
• RQ2 構造化されたメタデータの統合が、歴史的クリックデータが最小限のホテルにおけるコールドスタート問題をどの程度軽減するか？
• RQ3 個々の構成要素（クリック、属性、位置、評価）が最終的な埋め込みにどのように寄与しているか、それぞれを独立して解釈可能か？
• RQ4 本稿で提案するモデルは、クリックデータにのみ依存するベースラインと比較して、同じ市場内での未観測ホテルに一般化しやすいか？
• RQ5 モデルの学習ダイナミクスと最適化戦略は、大規模かつ多様なデータセットにおける収束性とパフォーマンスにどのように影響するか？

主な発見

• 拡張済みモデル（Hotel2vec）は、未観測のコールドスタートホテルに対して2.89 hits@10を達成し、同じ市場内予測タスクにおいて、セッションのみのモデル（0.21 hits@10）を著しく上回った。
• コールドスタートホテルに対してヒューリスティックな補完を適用した場合でも、拡張済みモデルは補完済みセッションのみのモデルを上回り、4.71 hits@10（対象：2.70 hits@10）を達成した。
• 32次元の埋め込みと拡張された特徴を用いたモデル（Enriched-32）は、コールドスタート評価で69.46 hits@1000を達成したのに対し、セッションのみのベースラインは45.01にとどまった。
• トレーニング時により多くのネガティブサンプルを使用することで、バッチあたりの計算コストが増加するものの、トレーニング時間の短縮と収束速度の向上が見られた。
• Adamのような適応的最適化手法よりも、指数関数的学習率減衰を伴うSGDが優れた性能を示した。これは、大規模かつ多様なデータセットにおいて、初期段階の過学習を低減できるためと推察される。
• 解釈可能なサブ埋め込みにより、属性や位置のコンponentのみを用いるなど、モジュラーに利用可能であり、さまざまな推薦および検索タスクへの柔軟な展開が可能になった。