[論文レビュー] SANST: A Self-Attentive Network for Next Point-of-Interest Recommendation

Qianyu Guo, Jianzhong Qi|arXiv (Cornell University)|Jan 22, 2020

Recommender Systems and Techniques参考文献 25被引用数 13

ひとこと要約

本稿では、チェックインシーケンスに内在する空間的・時間的パターンを明示的にモデル化することで、次回のポイント・オブ・インタレスト（POI）推薦を向上させる自己注意型ネットワーク、SANSTを提案する。グリッドベースのハッシュ化と文字レベルのBi-LSTM埋め込みを用いて空間的近接性を統合し、自己注意機構において相対的な時間差を位置エンコーディングとして用いることで時間的ダイナミクスをモデル化することで、実世界のデータセット上で最先端のモデル比でnDCG@10が最大13.65%向上した。

ABSTRACT

Next point-of-interest (POI) recommendation aims to offer suggestions on which POI to visit next, given a user's POI visit history. This problem has a wide application in the tourism industry, and it is gaining an increasing interest as more POI check-in data become available. The problem is often modeled as a sequential recommendation problem to take advantage of the sequential patterns of user check-ins, e.g., people tend to visit Central Park after The Metropolitan Museum of Art in New York City. Recently, self-attentive networks have been shown to be both effective and efficient in general sequential recommendation problems, e.g., to recommend products, video games, or movies. Directly adopting self-attentive networks for next POI recommendation, however, may produce sub-optimal recommendations. This is because vanilla self-attentive networks do not consider the spatial and temporal patterns of user check-ins, which are two critical features in next POI recommendation. To address this limitation, in this paper, we propose a model named SANST that incorporates spatio-temporal patterns of user check-ins into self-attentive networks. To incorporate the spatial patterns, we encode the relative positions of POIs into their embeddings before feeding the embeddings into the self-attentive network. To incorporate the temporal patterns, we discretize the time of POI check-ins and model the temporal relationship between POI check-ins by a relation-aware self-attention module. We evaluate the performance of our SANST model with three real-world datasets. The results show that SANST consistently outperforms the state-of-theart models, and the advantage in nDCG@10 is up to 13.65%.

研究の動機と目的

• チェックインシーケンスに内在する空間的・時間的パターンを無視する、標準的な自己注意型ネットワークの限界を是正すること。
• グリッドベースのハッシュ化と埋め込み技術を用いて、POI間の空間的近接性を明示的にモデル化することで、推薦精度を向上させること。
• 単なるシーケンス順序ではなく、チェックイン間の実際の時間差を用いた時間的相対位置エンコーディングを導入することで、時間的ダイナミクスをモデル化し、旅行レベルのパターンをより良く捉えること。
• 自己注意型ネットワークの効率性を維持しつつ、順序付きPOI推薦のための表現力を高めるモデルを設計すること。
• 空間的・時間的パターンの統合が、既存の順序付き推薦モデルに対して一貫した性能向上をもたらすことを実証的に検証すること。

提案手法

• POIの位置を空間を埋める曲線（例：Z曲線）を用いたグリッドにハッシュ化することで、空間的パターンをエンコードする。
• ハッシュ化された文字列からBidirectional LSTMを用いて文字レベルの埋め込みを学習し、近接性を保持する空間的に注意を向けるPOI埋め込みを生成する。
• 自己注意機構を変更し、相対的なトークン位置ではなく、チェックイン間の相対的時間差を位置エンコーディングとして使用することで、時間的ダイナミクスをモデル化する。
• 関係認識自己注意モジュールは、コンテンツと時間的相対位置の両方を組み込んだクエリ・キー相互作用に基づいて注意スコアを計算する。
• 最終的なモデルは、マルチヘッド注意を用いた複数のTransformer層をスタックするが、アブレーション実験では単一ヘッド注意が最良の性能を示し、POIデータに単純な関係性があることを示唆している。
• 入力シーケンスは固定長ℓに切り詰めまたはパディングされ、ℓ=100で最適な性能が得られ、長距離依存性に起因するノイズと限界効用の低下が顕著に見られた。

実験結果

リサーチクエスチョン

• RQ1 POI間の空間的近接性を明示的にモデル化することで、標準的な順序付きモデリングを上回る次回POI推薦性能が向上するか？
• RQ2 実際の時間差に基づく時間的注意を有する相対位置エンコーディングを導入することで、標準的な相対位置エンコーディングに比べて性能が向上するか？
• RQ3 空間的・時間的パターンの統合は、スパarsityやシーケンス長が異なる多様な実世界データセットにおいて、モデル性能にどのように影響を与えるか？
• RQ4 空間的・時間的インダクティブバイアスを組み込んだ自己注意型アーキテクチャは、POI推薦に適しているか？
• RQ5 最適なハイパーパrameter（例：埋め込み次元、時間ウィンドウ、シーケンス長）は何か？また、これらはデータセットごとにどのように変化するか？

主な発見

• SANSTは、Gowalla、ロサンゼルス、シンガポールの3つの実世界データセットすべてにおいて、最先端モデルSASRecをnDCG@10で最大13.65%上回った。
• 入力シーケンス長ℓ=100でピーク性能を示し、ℓ=200ではパディングと長距離依存性のノイズによる性能低下が見られた。
• 空間エンコーディングにおける最適な文字埋め込み次元はdₛ=20であり、情報量の確保とデータスパarsityの両立を図った。特に32文字のボキャブラリーを考慮すると効果的である。
• ロサンゼルスでは時間的コンテキストウィンドウサイズk=5が最良の性能を示し、長い時間スパンとスパースなチェックインデータを有するデータセットでは、より大きなk値が必要であることが示された。
• 深層ネットワーク（τ=3）は過学習を示し、注意ヘッド数を増やしても（h=2）性能向上が得られなかった。これは、POIデータの関係性が単純であるため、単一ヘッド注意で十分であることを示唆している。
• SANSTはハイパーパramータの変動に対して頑健であり、全データセットで一貫した性能向上を示した。特に、データ空間が小さく、シーケンスが短いロサンゼルスデータセットで顕著な優位性を示した。