[논문 리뷰] Point-of-Interest Recommendation: Exploiting Self-Attentive Autoencoders with Neighbor-Aware Influence

Chen Ma, Yingxue Zhang외 2명|arXiv (Cornell University)|2018. 09. 27.

Recommender Systems and Techniques참고 문헌 35인용 수 12

한 줄 요약

이 논문은 위치 기반 소셜 네트워크(LBSN)에서 희박한 암시적 체크인 데이터로부터 비선형적이고 복잡한 사용자-POI 상호작용과 공간적 맥락을 효과적으로 포착하기 위해 자가주의 인코더(SAE)와 이웃 인식 디코더(NAD)를 활용한 새로운 자동에코더 기반 모델인 SAE-NAD를 제안한다. SAE는 선호도 강도에 따라 사용자의 체크인 POI를 동적으로 가중치를 부여하고, NAD는 반경 기반 함수 커널을 통해 이웃 POI의 영향을 모델링한다. 이 모델은 세 가지 실세계 LBSN 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The rapid growth of Location-based Social Networks (LBSNs) provides a great opportunity to satisfy the strong demand for personalized Point-of-Interest (POI) recommendation services. However, with the tremendous increase of users and POIs, POI recommender systems still face several challenging problems: (1) the hardness of modeling non-linear user-POI interactions from implicit feedback; (2) the difficulty of incorporating context information such as POIs' geographical coordinates. To cope with these challenges, we propose a novel autoencoder-based model to learn the non-linear user-POI relations, namely extit{SAE-NAD}, which consists of a self-attentive encoder (SAE) and a neighbor-aware decoder (NAD). In particular, unlike previous works equally treat users' checked-in POIs, our self-attentive encoder adaptively differentiates the user preference degrees in multiple aspects, by adopting a multi-dimensional attention mechanism. To incorporate the geographical context information, we propose a neighbor-aware decoder to make users' reachability higher on the similar and nearby neighbors of checked-in POIs, which is achieved by the inner product of POI embeddings together with the radial basis function (RBF) kernel. To evaluate the proposed model, we conduct extensive experiments on three real-world datasets with many state-of-the-art baseline methods and evaluation metrics. The experimental results demonstrate the effectiveness of our model.

연구 동기 및 목표

• 위치 기반 소셜 네트워크(LBSN)에서 희박한 암시적 체크인 데이터로부터 비선형적이고 복잡한 사용자-POI 상호작용을 모델링하는 데 도전한다.
• 기존 방법이 모든 체크인 POI를 동일하게 취급하는 한계를 극복하기 위해 적응형 어텐션을 통해 개인화된 사용자 선호도를 학습한다.
• 근처 POI의 영향을 모델링하기 위해 반경 기반 함수(RBF) 커널을 활용하여 딥 러닝 기반 POI 추천에 지리적 맥락을 통합한다.
• 구조적 자동에코더 프레임워크를 통해 사용자 표현과 공간 인식 예측을 동시에 최적화하여 추천 정확도를 향상시킨다.

제안 방법

• 각 체크인 POI에 대해 다차원 중요도 벡터를 계산하는 자가주의 인코더(SAE)를 사용하여, 사용자의 다양한 측면에서의 선호도 강도를 구분할 수 있도록 한다.
• 사용자 표현 학습 중 더 대표적인 POI를 우선시하기 위해 자동에코더에서 가중 손실 함수를 사용하여 개인화를 향상시킨다.
• POI 임베딩 간 내적을 계산하고 반경 기반 함수(RBF) 커널을 적용하여 공간적 근접도를 인코딩함으로써 지리적 영향을 모델링하는 이웃 인식 디코더(NAD)를 설계한다.
• 최종 디코더 레이어에 지리적 영향을 통합하여, 체크인하지 않은 POI의 유사성과 근접도를 바탕으로 예측 점수를 향상시킨다.
• 사용자 체크인 패턴을 재구성하는 것을 목표로 하며, 비선형 관계를 포착하기 위해 암시적 피드백을 사용하여 스택형 자동에코더를 엔드 투 엔드로 훈련한다.
• 재구성 손실과 정규화의 조합을 사용하여 모델을 최적화하며, 어텐션 깊이($d_a$)와 지리적 상관관계($\gamma$)를 제어하는 하이퍼파rameter를 설정한다.

실험 결과

연구 질문

• RQ1 대표성에 따라 체크인 POI를 적응형으로 가중치를 주는 자가주의 메커니즘이 사용자 선호도 모델링에 기여하는가?
• RQ2 이웃 인식 디코더를 통해 지리적 맥락을 통합할 경우 POI 추천 모델의 성능에 어떤 영향을 미치는가?
• RQ3 비선형 활성화 함수를 갖는 딥 자동에코더 아키텍처가 희박한 암시적 피드백 데이터에서 전통적인 행렬 분해 및 협업 필터링 방법보다 얼마나 뛰어난가?
• RQ4 하이퍼파rameter $d_a$(어텐션 측면 수)와 $\gamma$(지리적 상관관계 수준)가 모델 일반화 및 성능에 미치는 영향은 어떠한가?

주요 결과

• 자기주의 인코더(SAE)는 표준 자동에코더보다 추천 성능을 크게 향상시키며, Gowalla에서 P@10이 0.05599에서 0.06039로, Foursquare에서 0.05961에서 0.06346으로, Yelp에서 0.03764에서 0.03951로 증가한다.
• 이웃 인식 디코더(NAD)는 모든 데이터셋에서 최고 성능을 기록하며, Gowalla에서 P@10이 0.07029, Foursquare에서 0.06598, Yelp에서 0.04115에 도달하여 지리적 맥락의 중요성을 입증한다.
• SAE와 NAD의 조합(SAE-NAD)은 모든 메트릭(P@10, R@10, MAP@10)에서 모든 세 데이터셋에서 WRMF, BPRMF, DeepAE와 같은 모든 베이스라인 방법을 능가한다.
• 모델 성능은 $d_a$(어텐션 측면 수) 증가에 따라 향상되며, $d_a = 8$ 근처에서 최고에 도달하고 안정화됨을 보여, 다중 측면 어텐션은 복잡한 사용자 선호도를 잘 포착함을 시사한다.
• 지리적 상관관계 파rameter $\gamma$는 강력한 영향을 미친다: $\gamma = 0$일 경우 성능이 크게 떨어지며, 이는 공간적 근접도가 정확한 POI 추천에 필수적임을 확인한다.
• 제거 실험 결과, SAE와 NAD 모두 성능 향상에 독립적으로 기여하며, 특히 NAD가 가장 큰 기여를 하여 공간 모델링의 가치를 입증한다.