[논문 리뷰] Scalable Hyperbolic Recommender Systems

Benjamin Paul Chamberlain, Stephen R. Hardwick외 4명|arXiv (Cornell University)|2019. 02. 22.

advanced mathematical theories참고 문헌 44인용 수 21

한 줄 요약

이 논문은 초구형 모델과 아인슈타인 중점 집합을 사용하여 사용자를 암묵적으로 표현하는 확장 가능한 쌍곡 추천 시스템을 제안한다. 이는 수백만 명의 사용자와 아이템에 대해 효율적인 훈련을 가능하게 하며, 복잡한 네트워크 유형의 데이터셋에서 쌍곡 모델이 유클리드 기반 모델보다 2–14% 우수한 성능을 보임을 입증한다. 비대칭 설계 덕분에 파라미터 수와 훈련 시간이 최대 5배 감소하면서도 성능을 유지한다.

ABSTRACT

We present a large scale hyperbolic recommender system. We discuss why hyperbolic geometry is a more suitable underlying geometry for many recommendation systems and cover the fundamental milestones and insights that we have gained from its development. In doing so, we demonstrate the viability of hyperbolic geometry for recommender systems, showing that they significantly outperform Euclidean models on datasets with the properties of complex networks. Key to the success of our approach are the novel choice of underlying hyperbolic model and the use of the Einstein midpoint to define an asymmetric recommender system in hyperbolic space. These choices allow us to scale to millions of users and hundreds of thousands of items.

연구 동기 및 목표

• 수백만 명의 사용자와 아이템을 포함하는 대규모 전자상거래 플랫폼에 적합한 확장 가능한 쌍곡 추천 시스템을 개발하는 것.
• 쌍곡 공간에서 리만 최적화의 과제를 해결하기 위해 안정적이고 정확한 기울기 하강법을 가능하게 하는 것.
• 사용자 상호작용 이력의 아인슈타인 중점으로 암묵적으로 사용자 표현을 모델링함으로써 확장성 향상과 훈련 시간 단축.
• 계층적 또는 힘의 법칙을 따르는 데이터를 가진 추천 시스템에 대해 쌍곡 기하학이 유클리드 기하학보다 더 나은 인덕티브 바이어스를 제공하는지 평가하는 것.
• 비대칭 쌍곡 모델이 훨씬 적은 파라미터를 사용하면서도 대칭 모델과 동일한 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• 저자들은 정확한 리만 기울기 하강법을 가능하게 하고 수치적 불안정성을 피할 수 있는 쌍곡 공간의 초구형 모델을 채택한다.
• 사용자 표현은 긍정적인 상호작용을 가진 아이템들의 아인슈타인 중점으로 암묵적으로 모델링되며, 이는 명시적 사용자 임베딩을 제거하고 모델 복잡도를 감소시킨다.
• 최적화에 리만 스토하스틱 기울기 하강법을 사용하며, 쌍곡 공간 내에서 곡률 인식 업데이트를 수행한다.
• 비대칭 설계 덕분에 최대 1840만 명의 사용자와 100만 개의 제품을 포함한 데이터셋에서도 최소한의 메모리 오버헤드로 훈련이 가능하다.
• 성능 평가에는 공개 데이터셋(MovieLens20M)과 기업 내부 데이터셋(ASOS)을 사용하며, 보류된 테스트 세트를 기반으로 HR@10과 NDCG@10을 측정한다.
• 동일한 초모수와 훈련 환경에서 대칭 쌍곡 및 유클리드 기반 모델과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 계층적 또는 스케일 프리 네트워크 특성을 띤 추천 시스템에 대해 쌍곡 기하학이 유클리드 기하학보다 더 나은 인덕티브 바이어스를 제공할 수 있는가?
• RQ2 수백만 명의 사용자와 아이템을 포함하는 실세계 산업용 데이터셋에 대해 쌍곡 추천 시스템을 어떻게 확장 가능하게 할 수 있는가?
• RQ3 복잡한 네트워크 성질을 보이는 데이터셋에서 쌍곡 모델이 유클리드 모델보다 얼마나 더 높은 성능을 내는가?
• RQ4 아인슈타인 중점 기반 비대칭 모델링이 성능을 유지하면서도 파라미터 수와 훈련 시간을 줄일 수 있는가?
• RQ5 쌍곡 공간 내에서의 적응형 최적화 기법이 현재 성능을 넘어서 성능 향상을 이끌 수 있는가?

주요 결과

• MovieLens20M 데이터셋에서 비대칭 초구형 추천 시스템은 대칭 버전과 유사한 성능를 달성했지만, 훈련 시간은 절반으로 줄였고 파라미터 수는 5배 감소시켰다.
• 복잡한 네트워크 유형의 데이터셋에서 쌍곡 모델은 유클리드 기반 모델보다 2–14% 높은 성능를 보이며, 계층적 데이터에 대해 쌍곡 기하학이 더 우수함을 입증했다.
• 기업 내부 데이터셋인 ASOS에서 시스템은 한 에포크 후 HR@10 = 0.589, NDCG@10 = 0.324를 기록했으며, 이는 무작위 성능보다 뚜렷하게 뛰어나지만 여전히 유클리드 기반 모델의 성능 이하였다.
• ASOS 데이터셋에서 비대칭 시스템은 동일한 에포크 수에서 대칭 버전 대비 훈련 시간을 4배 단축시켰다.
• 저자들은 적응형 최적화 기법과 개선된 초기화 방법을 향후 연구의 핵심 분야로 지목하며 유클리드 모델에 대한 성능 격차를 줄일 수 있을 것으로 기대한다.
• 결과적으로 쌍곡 기하학은 아인슈타인 중점 기반 암묵적 사용자 모델링과 결합할 경우 산업용 추천 시스템에 실현 가능하고 확장 가능한 대안임을 확인했다.