[논문 리뷰] Embedding in Recommender Systems: A Survey

Maolin Wang, Xinjian Zhao외 10명|arXiv (Cornell University)|2023. 10. 28.

Recommender Systems and Techniques인용 수 6

한 줄 요약

이 종합 검토는 추천 시스템에서의 임bedding 기법에 대한 포괄적인 개요를 제공하며, 협업 필터링, 자기지도 학습, 그래프 기반 방법 및 새로운 LLM 기반 접근법을 포함한다. 확장성 향상 기술로는 AutoML, 해싱, 양자화를 다루며, 임베딩 기반 추천 시스템의 주요 과제와 향후 방향성을 규명한다.

ABSTRACT

Recommender systems have become an essential component of many online platforms, providing personalized recommendations to users. A crucial aspect is embedding techniques that convert the high-dimensional discrete features, such as user and item IDs, into low-dimensional continuous vectors, which can enhance the recommendation performance. Embedding techniques have revolutionized the capture of complex entity relationships, generating significant research interest. This survey presents a comprehensive analysis of recent advances in recommender system embedding techniques. We examine centralized embedding approaches across matrix, sequential, and graph structures. In matrix-based scenarios, collaborative filtering generates embeddings that effectively model user-item preferences, particularly in sparse data environments. For sequential data, we explore various approaches including recurrent neural networks and self-supervised methods such as contrastive and generative learning. In graph-structured contexts, we analyze techniques like node2vec that leverage network relationships, along with applicable self-supervised methods. Our survey addresses critical scalability challenges in embedding methods and explores innovative directions in recommender systems. We introduce emerging approaches, including AutoML, hashing techniques, and quantization methods, to enhance performance while reducing computational complexity. Additionally, we examine the promising role of Large Language Models (LLMs) in embedding enhancement. Through detailed discussion of various architectures and methodologies, this survey aims to provide a thorough overview of state-of-the-art embedding techniques in recommender systems, while highlighting key challenges and future research directions.

연구 동기 및 목표

• 현대 추천 시스템에서 사용되는 최신 임베딩 기법에 대한 체계적인 검토를 제공하는 것.
• 협업 필터링, 자기지도 학습, 그래프 기반 방법이 사용자-아이템 관계를 포착하는 데 있어 효과성과 한계를 분석하는 것.
• 확장성 및 효율성 향상을 위해 AutoML, 해싱, 양자화와 같은 새로운 기법을 조사하는 것.
• 대규모 언어 모델(Large Language Models, LLMs)을 임베딩과 통합하여 추천 성능 향상과 설명 가능성 향상을 도모하는 것.
• 특히 효율성, 해석 가능성, 편향 완화 측면에서 임베딩 기반 추천 시스템의 열린 과제와 향후 연구 방향을 규명하는 것.

제안 방법

• 협업 필터링(예: 행렬 분해, 인자 분석 기반 모델), 자기지도 학습(예: 대비 학습 및 생성 학습), 그래프 기반 방법(예: node2vec, 그래프 오토에인코드어)으로 임베딩 기법을 분류.
• 명시적 레이블 없이도 강건한 임베딩을 학습하기 위해 데이터 증강 및 대비 또는 생성 목표를 활용하는 자기지도 학습 전략을 검토.
• 사용자-아이템 상호작용을 이질적 네트워크로 모델링하여 노드 수준의 표현을 통해 복잡한 구조적 관계를 포착하는 그래프 기반 방법을 분석.
• AutoML를 통한 하이퍼파rameter 최적화, 압축 표현을 위한 해싱, 메모리 및 추론 비용 감소를 위한 양자화를 포함한 확장성 향상 기법을 분석.
• 프롬프팅(예: ChatRec) 또는 미세조정(예: PEPLER, PPR)을 통해 LLM 기반 접근법을 통해 사용자/아이템 ID를 학습 가능한 토큰으로 간주하여 임베딩을 생성하는 방법을 조사.
• NLL 및 MSE 손실을 사용하는 다음 토큰 예측과 평가 예측을 조합한 이중 단계 미세조정 전략과 같은 하이브리드 학습 전략을 평가.

실험 결과

연구 질문

• RQ1 협업 필터링, 자기지도 학습, 그래프 기반 방법은 사용자-아이템 상호작용을 모델링하고 복잡한 관계를 포착하는 데 있어 어떤 차이를 보이나?
• RQ2 임베딩 기반 추천 시스템의 확장성 문제는 무엇이며, 해싱 및 양자화 기법은 이를 어떻게 해결하는가?
• RQ3 대규모 언어 모델(Large Language Models, LLMs)은 임베딩 기반 추천 시스템과 어떻게 효과적으로 통합될 수 있으며, 성능 향상과 설명 가능성 향상에 기여하는가?
• RQ4 AutoML, 해싱, 양자화를 임베딩 모델에 적용할 때 모델 정확도, 계산 비용, 추론 속도 간의 상충 관계는 무엇인가?
• RQ5 LLM 기반 임베딩에서의 열린 과제는 무엇이며, 특히 편향, 자원 요구량, 실시간 배포 측면에서 어떤 과제가 존재하는가?

주요 결과

• 특히 행렬 분해와 인자 분석 기반 모델이 사용자-아이템 선호도를 효과적으로 포착하고, 희소 데이터 환경에서의 쿨스타트 문제를 해결하는 데 유용하다.
• 대비 학습 및 생성 학습을 포함한 자기지도 학습 기법은 다양한 작업에 대해 강력한 일반화 성능를 보이지만, 안정적인 학습을 위해 데이터 증강 및 손실 함수의 철저한 설계가 필요하다.
• node2vec 및 그래프 오토에인코드어와 같은 그래프 기반 방법은 복잡한 네트워크 구조를 효과적으로 모델링하고, 사용자-사용자 및 아이템-아이템 관계를 통해 보조 정보를 통합한다.
• 양자화 및 해싱과 같은 기법은 메모리 및 계산 비용을 크게 감소시켜 자원 제약 환경에서도 구현 가능하게 한다.
• PEPLER 및 PPR과 같은 LLM 기반 임베딩 방법은 자기지도 미세조정을 통해 설명과 예측 간의 일치도를 향상시켜 추천의 설명 가능성과 성능을 동시에 향상시킨다.
• 그럼에도 불구하고 LLM 기반 임베딩는 높은 계산 요구량, 잠재적 편향(예: 성별 편향) 및 실시간 시스템 내 통합의 복잡성 등의 과제를 겪고 있다.