[논문 리뷰] Optimization and Scalability of Collaborative Filtering Algorithms in Large Language Models

Haowei Yang, Longfei Yun외 3명|arXiv (Cornell University)|2024. 12. 25.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)에 통합하기 위해 최적화된 협업 필터링(Collaborative Filtering, CF) 기법—예를 들어 행렬 분해, 근사 최근접 이웃 검색, 분산 병렬 컴퓨팅—을 제안하며, 계산 효율성과 확장성을 크게 향상시킨다. 이는 데이터 희소성과 콜드 스타트 조건 하에서도 추천 정확도를 향상시키고 추론 지연을 최대 60%까지 감소시킴을 보여준다.

ABSTRACT

With the rapid development of large language models (LLMs) and the growing demand for personalized content, recommendation systems have become critical in enhancing user experience and driving engagement. Collaborative filtering algorithms, being core to many recommendation systems, have garnered significant attention for their efficiency and interpretability. However, traditional collaborative filtering approaches face numerous challenges when integrated into large-scale LLM-based systems, including high computational costs, severe data sparsity, cold start problems, and lack of scalability. This paper investigates the optimization and scalability of collaborative filtering algorithms in large language models, addressing these limitations through advanced optimization strategies. Firstly, we analyze the fundamental principles of collaborative filtering algorithms and their limitations when applied in LLM-based contexts. Next, several optimization techniques such as matrix factorization, approximate nearest neighbor search, and parallel computing are proposed to enhance computational efficiency and model accuracy. Additionally, strategies such as distributed architecture and model compression are explored to facilitate dynamic updates and scalability in data-intensive environments.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Model, LLM) 기반 추천 시스템에서 기존 협업 필터링의 확장성과 계산 비효율성 문제를 해결하기 위해.
• LLM 통합 추천 파이프라인에서의 데이터 희소성과 콜드 스타트 문제를 완화하기 위해.
• 분산 아키텍처와 모델 압축 기법을 통해 모델 정확도와 업데이트 빈도를 향상시키기 위해.
• 최적화된 CF 알고리즘을 활용해 데이터 집약적 환경에서 실시간 동적 추천을 가능하게 하기 위해.
• 해석 가능성, 효율성, 확장성의 균형을 고려한 LLM과 협업 필터링을 통합하는 프레임워크를 구축하기 위해.

제안 방법

• 사용자-아이템 상호작용 공간에서 차원 축소와 잠재 표현 학습 향상을 위해 행렬 분해 기법을 적용하기 위해.
• 아이템 검색 속도 향상과 추론 지연 감소를 위해 근사 최근접 이웃(Approximate Nearest Neighbor, ANN) 검색을 통합하기 위해.
• 대규모 사용자 및 아이템 집합에서 CF를 확장하기 위해 병렬 및 분산 컴퓨팅 프레임워크를 활용하기 위해.
• 모델 크기 감소와 정확도 손실이 크지 않은 상태에서 빠른 추론을 가능하게 하기 위해 모델 압축 기법을 도입하기 위해.
• 점진적 업데이트와 동적 추천 서빙을 지원하는 분산 시스템 아키텍처를 설계하기 위해.
• LLM이 생성한 임베딩과 CF 기반 협업 신호를 조합하여 개인화를 향상시키면서도 해석 가능성 유지하기 위해.

실험 결과

연구 질문

• RQ1 협업 필터링은 어떻게 최적화되어야 하며, LLM 기반 추천 시스템에서 계산 비용을 줄일 수 있는가?
• RQ2 근사 최근접 이웃 검색은 대규모 CF 시스템에서 추론 속도를 얼마나 향상시킬 수 있는가?
• RQ3 분산 아키텍처는 데이터 집약적인 LLM 환경에서 CF 모델의 확장성과 업데이트 빈도에 어떤 영향을 미치는가?
• RQ4 하이브리드 LLM-CF 시스템에서 모델 압축과 추천 정확도 사이의 상충 관계는 무엇인가?
• RQ5 LLM과 협업 필터링을 통합하면 데이터 희소성과 콜드 스타트 문제를 효과적으로 완화할 수 있는가?

주요 결과

• 대규모 벤치마크에서 행렬 분해 기법은 기존 CF 접근 방식 대비 추론 지연을 최대 60% 감소시켰다.
• 근사 최근접 이웃 검색은 정확도가 정확 검색과 거의 동일했고, 검색 시간을 70% 감소시켰다.
• 분산 컴퓨팅을 통해 시스템은 1,000만 개 이상의 사용자-아이템 상호작용에까지 확장되며 선형 성능 증가를 달성했다.
• 모델 압축 기법을 통해 모델 크기를 55% 감소시켰고, 벤치마크 데이터셋에서 정확도 손실는 2% 미만이었다.
• 하이브리드 LLM-CF 프레임워크는 신규 사용자 및 아이템의 콜드 스타트 성능을 기존 단독 CF나 LLM 전용 방법 대비 40% 향상시켰다.
• 극도의 데이터 희소성 조건에서도 제안된 시스템은 기준 CF 모델보다 낮은 밀도의 사용자-아이템 행렬에서 25% 높은 정확도를 유지했다.