[논문 리뷰] HyperML: A Boosting Metric Learning Approach in Hyperbolic Space for Recommender Systems

Lucas Vinh Tran, Yi Tay외 3명|arXiv (Cornell University)|2018. 09. 05.

Recommender Systems and Techniques참고 문헌 38인용 수 21

한 줄 요약

HyperML은 개인화 추천을 위한 초구형 공간에서의 새로운 거리 학습 접근법을 제안하며, 모비우스 고벡터 공간을 활용해 유클리드 연산을 일반화하고 사용자-아이템 임베딩 표현을 향상시킨다. 이는 십 개의 벤치마크 데이터셋에서 순위 평가 지표 기준으로 유클리드 기반 기준 모델 및 CML, LRML과 같은 최신 기술 모델보다 최대 32.32% 향상된 최고 성능을 달성한다.

ABSTRACT

This paper investigates the notion of learning user and item representations in non-Euclidean space. Specifically, we study the connection between metric learning in hyperbolic space and collaborative filtering by exploring Mobius gyrovector spaces where the formalism of the spaces could be utilized to generalize the most common Euclidean vector operations. Overall, this work aims to bridge the gap between Euclidean and hyperbolic geometry in recommender systems through metric learning approach. We propose HyperML (Hyperbolic Metric Learning), a conceptually simple but highly effective model for boosting the performance. Via a series of extensive experiments, we show that our proposed HyperML not only outperforms their Euclidean counterparts, but also achieves state-of-the-art performance on multiple benchmark datasets, demonstrating the effectiveness of personalized recommendation in hyperbolic geometry.

연구 동기 및 목표

• 협업 필터링에서 거리 학습에 초구형 기하학을 적용할 잠재력을 탐구하는 것.
• 유클리드 기반 거리 학습 모델이 계층적이고 장꼬리형 사용자-아이템 관계를 포착하는 데 한계가 있음을 해결하는 것.
• 거리 학습의 강점을 유지하면서 초구형 기하의 곡률을 활용하는 개념적으로 단순하지만 효과적인 방법을 개발하는 것.
• 최적화 과정에서 국소적 및 전역적 거리 유지 간 균형을 맞추기 위해 왜곡 항목을 도입하는 것.
• 기존 유클리드 및 최신 기술 기준 모델에 비해 개인화 순위 매기기 작업에서 초구형 거리 학습의 우수성을 경험적으로 검증하는 것.

제안 방법

• 포인카레 모델 내에서 모비우스 고벡터 공간을 활용해 표준 벡터 연산(덧셈, 곱셈, 지수, 로그 매핑)을 초구형 기하로 일반화하는 것.
• 양성 사용자-아이템 쌍 간의 거리를 최소화하고 부정 쌍 간의 거리를 최대화하기 위해 초구형 공간에서 풀-푸시 메커니즘을 적용하는 것.
• 안정적인 최적화를 위해 초구형 볼과 탄성 공간 간에 임베딩을 이동시키기 위해 지수 및 로그 매핑을 활용하는 것.
• 다중 작업 학습 프레임워크 내에서 왜곡 항목을 도입해 초구형 기하에서 정확도와 기하적 충실도 간의 트레이드오프를 제어하는 것.
• 초구형 기하에 적응된 대비 손실 함수를 사용해 확률적 경사 하강법으로 모델을 최적화하는 것.
• 학습된 임베딩의 클러스터링 행동을 분석하기 위해 t-SNE 시각화를 활용하여, 명시적 지도 없이도 장르 기반의 구조를 드러내는 것.

실험 결과

연구 질문

• RQ1 초구형 기하에서의 거리 학습이 유클리드 기반 모델 대비 개인화 추천 성능을 향상시킬 수 있는가?
• RQ2 초구형 기하의 곡률이 협업 필터링에서 거리 학습 최적화 역학에 어떤 영향을 미치는가?
• RQ3 초구형 표현이 암시적 피드백 데이터에서 계층적이고 장꼬리형 사용자-아이템 관계를 어느 정도 포착할 수 있는가?
• RQ4 왜곡 항목의 포함이 국소적 및 전역적 기하적 구조 유지에 기여하여 초구형 임베딩의 품질을 향상시키는가?
• RQ5 HyperML은 CML 및 LRML과 같은 최신 기술 유클리드 거리 학습 모델에 비해 순위 성능 측면에서 어떻게 비교되는가?

주요 결과

• HyperML은 십 개의 공개 벤치마크 데이터셋에서 최고 성능을 기록하며, 유클리드 기반 거리 학습 모델 및 CML, LRML과 같은 최신 기술 기준 모델을 모두 초월한다.
• AUC 및 NDCG와 같은 표준 평가 지표에서 경쟁 모델 대비 최대 32.32% 향상된 순위 성능을 확보한다.
• MovieLens1M 데이터셋의 2차원 임베딩에 대한 t-SNE 시각화 결과, 아이템이 장르 기반으로 명확히 클러스터링되어 있음을 확인하여, HyperML이 암시적 피드백에서 의미론적 구조를 암묵적으로 학습하고 있음을 시사한다.
• 왜곡 항목은 국소적 및 전역적 거리 유지 간 균형을 효과적으로 조절하여 초구형 기하에서 과적합을 방지하고 일반화 성능을 향상시킨다.
• HyperML은 초구형 기하가 계층적 사용자-아이템 상호작용에 대해 더 효율적이고 표현력 있는 표현 학습을 가능하게 함을 보여준다.
• 초구형 기하에서의 풀-푸시 메커니즘은 기하학적 체적 증가의 영향으로 점들을 더 적은 力으로 분리할 수 있어 더 빠르고 안정적인 수렴을 이끈다.