[논문 리뷰] Where are we in embedding spaces? A Comprehensive Analysis on Network Embedding Approaches for Recommender Systems

Sixiao Zhang, Hongxu Chen외 4명|arXiv (Cornell University)|2021. 05. 19.

Recommender Systems and Techniques참고 문헌 32인용 수 6

한 줄 요약

이 논문은 추천 시스템에서 쌍곡 공간의 종합적인 실험적 및 이론적 분석을 제공하며, 쌍곡 임bedding이 유클리드 공간에 비해 언제이고 왜 더 우수한 성능을 내는지 평가한다. HSCML이라는 쌍곡 거리 학습 모델을 제안하여 사회적 추천 작업에서 최신 기술 수준의 성능을 달성하며, 낮은 밀도이면서 계층적인 데이터셋과 더 작은 잠재 차원을 가진 경우에 쌍곡 공간이 특히 효과적임을 입증한다.

ABSTRACT

Hyperbolic space and hyperbolic embeddings are becoming a popular research field for recommender systems. However, it is not clear under what circumstances the hyperbolic space should be considered. To fill this gap, This paper provides theoretical analysis and empirical results on when and where to use hyperbolic space and hyperbolic embeddings in recommender systems. Specifically, we answer the questions that which type of models and datasets are more suited for hyperbolic space, as well as which latent size to choose. We evaluate our answers by comparing the performance of Euclidean space and hyperbolic space on different latent space models in both general item recommendation domain and social recommendation domain, with 6 widely used datasets and different latent sizes. Additionally, we propose a new metric learning based recommendation method called SCML and its hyperbolic version HSCML. We evaluate our conclusions regarding hyperbolic space on SCML and show the state-of-the-art performance of hyperbolic space by comparing HSCML with other baseline methods.

연구 동기 및 목표

• 쌍곡 공간이 추천 시스템에서 유클리드 공간에 비해 어떤 조건에서 우수한 성능을 내는지 규명하는 것.
• 다양한 추천 모델, 데이터셋, 잠재 공간 크기에서 쌍곡 임베딩의 성능 평가.
• 새로운 거리 학습 기반의 사회적 추천 모델인 HSCML을 제안하고, 쌍곡 공간에서의 우수성을 검증하는 것.
• 실제 추천 시스템에 쌍곡 임베딩을 도입할 때 실무자들이 참고할 수 있는 가이드라인 제공.

제안 방법

• 저자들은 일반적이고 사회적 추천 작업을 위한 6개의 널리 사용되는 데이터셋을 활용해 유클리드 공간과 쌍곡 공간을 비교 분석한다.
• 행렬 분해와 거리 학습을 포함한 여러 잠재 공간 모델을 유클리드 기하학과 쌍곡 기하학 모두에서 평가한다.
• 기준 모델로 새로운 방법인 사회적 협업 거리 학습(Social Collaborative Metric Learning, SCML)을 제안하고, 이를 비교하기 위해 그 쌍곡 버전인 HSCML을 도입한다.
• 쌍곡 공간을 표현하기 위해 포이카레 볼 모델을 사용하여 쌍곡 임베딩의 효율적 최적화를 가능하게 한다.
• 음성 샘플링을 사용해 쌍곡 및 유클리드 모델을 훈련하고, 잠재 차원의 범위를 조정하여 성능 트레이드오프를 평가한다.
• 잠재 차원과 데이터셋의 밀도에 대한 분석 실험을 포함하며, 표준 추천 지표를 사용해 결과를 보고한다.

실험 결과

연구 질문

• RQ1 추천 작업에서 언제 쌍곡 공간이 유클리드 공간보다 더 적합한가?
• RQ2 어떤 유형의 데이터셋(예: 계층적, 스케일프리, 낮은 밀도)이 쌍곡 임베딩에서 가장 큰 이점을 얻는가?
• RQ3 잠재 차원의 선택이 유클리드 공간과 쌍곡 공간 간의 성능 격차에 어떤 영향을 미치는가?
• RQ4 쌍곡 공간에서 단순한 거리 학습 모델이 복잡한 최신 기술 수준의 유클리드 모델을 능가할 수 있는가?

주요 결과

• Ciao와 Epinions과 같은 낮은 밀도이면서 계층적인 데이터셋에서 쌍곡 공간은 유클리드 공간보다 뚜렷하게 뛰어난 성능을 보이며, 특히 작은 잠재 차원에서 두드러진다.
• 잠재 차원이 증가함에 따라 유클리드 공간과 쌍곡 공간 간의 성능 격차가 줄어들며, 이는 고차원 유클리드 공간이 내재된 왜곡을 상쇄할 수 있음을 시사한다.
• HSCML은 복잡한 모델들인 SAMN과 RML-DGATs에 비해 더 단순한 아키텍처임에도 불구하고 사회적 추천 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 결과는 쌍곡 공간이 실제 사용자-아이템 상호작용 네트워크에서 흔히 볼 수 있는 나무 구조, 스케일프리, 계층적 데이터 구조를 모델링하는 데 특히 효과적임을 확인한다.
• 이 연구는 쌍곡 임베딩이 계층적 데이터에서 왜곡을 줄여주며, 이러한 구조에 대해 유클리드 임베딩보다 더 효율적임을 실험적으로 입증한다.