[논문 리뷰] MC$^2$-SF: Slow-Fast Learning for Mobile-Cloud Collaborative Recommendation

Zeyuan Chen, Jiangchao Yao외 5명|arXiv (Cornell University)|2021. 09. 25.

Recommender Systems and Techniques참고 문헌 34인용 수 6

한 줄 요약

MC$^2$-SF는 모바일-클라우드 공동 추천을 위한 스로우-패스트 학습 프레임워크를 제안한다. 클라우드 기반 모델(스로우)은 사전 지식을 제공하고, 모바일 기반 모델(패스트)은 실시간 피드백을 공유한다. 특수한 메모리 특징과 부정 메모리 특징을 이중 방향으로 전달함으로써 MC$^2$-SF는 추천 정확도를 향상시키며, ML-1M에서 가장 우수한 베이스라인 대비 NDCG@5에서 5.70% 향상된 성능을 달성한다.

ABSTRACT

With the hardware development of mobile devices, it is possible to build the recommendation models on the mobile side to utilize the fine-grained features and the real-time feedbacks. Compared to the straightforward mobile-based modeling appended to the cloud-based modeling, we propose a Slow-Fast learning mechanism to make the Mobile-Cloud Collaborative recommendation (MC$^2$-SF) mutual benefit. Specially, in our MC$^2$-SF, the cloud-based model and the mobile-based model are respectively treated as the slow component and the fast component, according to their interaction frequency in real-world scenarios. During training and serving, they will communicate the prior/privileged knowledge to each other to help better capture the user interests about the candidates, resembling the role of System I and System II in the human cognition. We conduct the extensive experiments on three benchmark datasets and demonstrate the proposed MC$^2$-SF outperforms several state-of-the-art methods.

연구 동기 및 목표

• 하드웨어 발전에도 불구하고 모바일 및 클라우드 추천 모델 간 이중 방향 협업의 부족을 해결한다.
• 독립적 또는 단방향 모델의 한계를 극복하여 모바일 및 클라우드 구성 요소의 상호 보완적 강점을 활용한다.
• 스로우(클라우드)와 패스트(모바일) 구성 요소 간 상호 지식 전달을 가능하게 하는 프레임워크를 개발하여 사용자 관심 모델링을 향상시킨다.
• 장기적 및 실시간 사용자 행동을 통합함으로써 인간 인지 시스템(시스템 I 및 II)을 모방하여 추천 성능을 향상시킨다.
• 이중 방향 지식 정련과 부정 메모리 통합이 공동 추천에 미치는 영향을 입증한다.

제안 방법

• 상호작용 빈도와 계산 능력에 기반해 클라우드 기반 모델을 스로우 구성 요소로, 모바일 기반 모델을 패스트 구성 요소로 간주한다.
• 스로우 구성 요소에서 일반화된 관심 표현을 패스트 구성 요소로 전달하여 단기 예측 정확도를 향상시킨다.
• 패스트 구성 요소에서 수집한 부정 피드백을 부정 메모리 모듈을 통해 스로우 구성 요소로 업로드하여 장기적 사용자 표현을 정교화한다.
• 양 구성 요소가 상호 특수 지식과 사전 지식을 교환함으로써 반복적으로 향상되는 이중 브랜치 학습 및 서비스 파이프라인을 구현한다.
• 양 구성 요소에서 사용자-아이템 상호작용을 주로 어텐션 메커니즘과 임베딩 기반 표현으로 모델링하며, 정렬을 위한 공통 손실 함수를 사용한다.
• 공동 학습 중 과적합을 방지하기 위해 모델 용량과 균형을 이루는 정규화 계수를 도입한다.

실험 결과

연구 질문

• RQ1 모바일 및 클라우드 추천 모델 간의 이중 방향 지식 전달이 종합적인 추천 성능을 향상시킬 수 있는가?
• RQ2 모바일 측의 실시간 피드백을 통합함으로써 클라우드의 장기적 사용자 모델링은 어떻게 향상되는가?
• RQ3 패스트 구성 요소의 부정 메모리가 스로우 구성 요소의 예측 정확도와 강건성에 미치는 영향은 무엇인가?
• RQ4 NDCG 및 AUC 지표에서 스로우-패스트 학습 메커니즘은 단방향 또는 독립적 모델링 대비 어떻게 비교되는가?
• RQ5 임베딩 크기, 정규화 계수 등 주요 하이퍼파라미터 중 MC$^2$-SF 프레임워크 성능에 가장 큰 영향을 미치는 것은 무엇인가?

주요 결과

• MC$^2$-SF는 ML-1M 데이터셋에서 가장 우수한 베이스라인 대비 NDCG@5에서 5.70% 향상되었으며, 알리페이와 스팀에서는 각각 1.60% 및 2.30% 향상된 성능을 기록했다.
• 제거 실험 결과, "F2S 포함"(부정 메모리 업로드)과 "S2F 포함"(특수 특징 전달) 모두 성능 향상에 기여함을 확인하여 이중 방향 지식 흐름의 중요성을 입증했다.
• 부정 메모리 모듈은 긍정 및 부정 피드백을 모두 통합함으로써 사용자 표현 학습을 향상시켜 보다 정보감 있는 임베딩을 생성한다.
• 최적의 성능는 임베딩 크기 32와 정규화 계수 1e-4에서 달성되었으며, 이는 모델 용량과 일반화 능력 간의 균형을 의미한다.
• 사례 연구 결과, MC$^2$-SF는 클라우드에서 유래한 장기적 관심과 모바일에서 유래한 단기 행동을 효과적으로 융합하여 더 다양하고 관련성 있는 추천을 제공한다.
• 모든 세 가지 벤치마크 데이터셋에서 DIN 및 SASRec과 같은 강력한 베이스라인을 능가하여 실제 추천 환경에서의 일관된 우수성을 입증했다.