[논문 리뷰] SANST: A Self-Attentive Network for Next Point-of-Interest Recommendation

Qianyu Guo, Jianzhong Qi|arXiv (Cornell University)|2020. 01. 22.

Recommender Systems and Techniques참고 문헌 25인용 수 13

한 줄 요약

이 논문은 사용자 체크인 시퀀스 내의 공간적 및 시간적 패턴을 명시적으로 모델링함으로써 다음 장소이름(POI) 추천 성능을 향상시키는 자기주의 네트워크인 SANST를 제안한다. 격자 기반 해싱과 문자 수준의 Bi-LSTM 임베딩을 통해 공간적 밀도를 통합하고, 자기주의 주의에서 상대적 시간 차이를 시간 인식형 상대적 위치 인코딩으로 사용하여 시간 역학을 모델링함으로써, SANST는 실제 데이터셋에서 최신 기술 모델 대비 최대 13.65% 높은 nDCG@10 성능을 달성한다.

ABSTRACT

Next point-of-interest (POI) recommendation aims to offer suggestions on which POI to visit next, given a user's POI visit history. This problem has a wide application in the tourism industry, and it is gaining an increasing interest as more POI check-in data become available. The problem is often modeled as a sequential recommendation problem to take advantage of the sequential patterns of user check-ins, e.g., people tend to visit Central Park after The Metropolitan Museum of Art in New York City. Recently, self-attentive networks have been shown to be both effective and efficient in general sequential recommendation problems, e.g., to recommend products, video games, or movies. Directly adopting self-attentive networks for next POI recommendation, however, may produce sub-optimal recommendations. This is because vanilla self-attentive networks do not consider the spatial and temporal patterns of user check-ins, which are two critical features in next POI recommendation. To address this limitation, in this paper, we propose a model named SANST that incorporates spatio-temporal patterns of user check-ins into self-attentive networks. To incorporate the spatial patterns, we encode the relative positions of POIs into their embeddings before feeding the embeddings into the self-attentive network. To incorporate the temporal patterns, we discretize the time of POI check-ins and model the temporal relationship between POI check-ins by a relation-aware self-attention module. We evaluate the performance of our SANST model with three real-world datasets. The results show that SANST consistently outperforms the state-of-theart models, and the advantage in nDCG@10 is up to 13.65%.

연구 동기 및 목표

• 기본 자기주의 네트워크가 체크인 시퀀스 내에 내재된 공간적 및 시간적 패턴을 忽시하는 한계를 해결하기 위해.
• 격자 기반 해싱 및 임베딩 기법을 사용해 POI 간의 공간적 밀도를 명시적으로 모델링함으로써 추천 정확도를 향상시키기 위해.
• 순서만이 아니라 체크인 간 실제 시간 간격을 기반으로 상대적 시간 차이를 인코딩하여 시간 역학을 모델링함으로써 여행 수준의 패턴을 더 잘 포착하기 위해.
• 자기주의 네트워크의 효율성을 유지하면서도 순차적 POI 추천을 위한 표현력을 향상시키기 위한 모델 설계를 위해.
• 공간-시간 패턴 통합이 기존 순차적 추천 모델 대비 일관된 성능 향상을 이끌어내는지 경험적으로 검증하기 위해.

제안 방법

• POI 위치를 공간 채우는 곡선(예: Z-곡선)을 사용해 격자에 해싱하여 각 POI에 대한 문자열 표현을 생성함.
• 해싱된 문자열에서 양방향 LSTM을 사용해 문자 수준의 임베딩을 학습함으로써 공간적으로 인지된 POI 임베딩을 생성함.
• 자기주의 주의 메커니즘을 수정하여 상대적 시간 간격을 위치 인코딩으로 사용하고, 순서만이 아니라 시퀀스 순서 외의 요소를 고려함.
• 관계 인식 자기주의 주의 모듈은 콘텐츠와 시간 인식 상대적 위치를 모두 포함한 쿼리-키 상호작용 기반으로 주의 점수를 계산함.
• 최종 모델은 다중 헤드 주의를 갖춘 다중 트랜스포머 레이어를 스택함. 그러나 분석 결과 단일 헤드 주의가 가장 우수한 성능을 보여, POI 데이터 내의 관계가 단순함을 시사함.
• 입력 시퀀스는 고정 길이 ℓ로 잘라내거나 패딩 처리되며, ℓ=100일 때 최적의 성능를 보이며, 장거리 의존성과 노이즈로 인한 성능 저하로 인해 ℓ=200일 땐 성능 저하가 발생함.

실험 결과

연구 질문

• RQ1 POI 간의 공간적 밀도를 명시적으로 모델링하면 표준 순차적 모델링을 초월해 다음 POI 추천 성능 향상이 가능할까?
• RQ2 실제 시간 간격을 기반으로 한 시간 인식 상대적 위치 인코딩을 도입하면, 순수한 상대적 토큰 위치 인코딩보다 성능 향상이 이루어질까?
• RQ3 공간적 및 시간적 패턴 통합이 다양한 실세계 데이터셋(다양한 희박성 및 시퀀스 길이)에서 모델 성능에 미치는 영향은 어떠한가?
• RQ4 공간-시간 인식 유도 편향을 부여한 자기주의 아키텍처가 POI 추천에 적합한가?
• RQ5 최적의 성능를 얻기 위한 하이퍼파rameter(예: 임베딩 크기, 시간 윈도우, 시퀀스 길이)는 무엇이며, 이는 데이터셋에 따라 어떻게 달라지는가?

주요 결과

• SANST는 Gowalla, 로스앤젤레스, 싱가포르의 세 가지 실세계 데이터셋에서 모두 SASRec이라는 최신 기술 모델 대비 최대 13.65% 높은 nDCG@10 성능을 기록함.
• 입력 시퀀스 길이 ℓ=100일 때 최고 성능를 보이며, ℓ=200일 땐 패딩과 장거리 의존성 노이즈로 인해 성능 저하가 발생함.
• 공간 인코딩에 최적의 문자 임베딩 차원은 dₛ=20이며, 정보 수집 능력과 데이터 희박성 간의 균형을 고려할 때 32자 문자 집합을 고려할 경우 유의미함.
• 로스앤젤레스에서는 시간 윈도우 크기 k=5일 때 최고 성능를 기록함. 이는 장시간 범위와 희박한 체크인 데이터를 가진 데이터셋에서는 더 큰 k 값이 필요함을 시사함.
• 깊은 네트워크(τ=3)는 과적합을 일으키며, 더 많은 주의 헤드(h=2)를 추가해도 성능 향상이 없음. 이는 POI 관계가 단순하므로 단일 헤드 주의로도 충분함을 시사함.
• SANST는 하이퍼파ram터 변화에 대해 강건하며, 다양한 데이터셋에서 일관된 성능 향상을 보이며, 특히 작은 데이터 공간과 짧은 시퀀스를 가진 로스앤젤레스에서 뛰어난 성능를 보임.