[논문 리뷰] MAMO: Memory-Augmented Meta-Optimization for Cold-start Recommendation

Manqing Dong, Yuan Feng외 3명|arXiv (Cornell University)|2020. 07. 07.

Recommender Systems and Techniques참고 문헌 35인용 수 14

한 줄 요약

이 논문은 새로운 사용자나 항목에 대한 충분한 상호작용 데이터가 부족한 초기 추천 환경에서 효과적으로 작동하는 메모리 증강 메타최적화 프레임워크인 MAMO를 제안한다. MAMO는 개인화된 파라미터 초기화를 위한 특성별 메모리와 빠른 선호도 예측을 위한 작업별 메모리를 공유하는 두 가지 메모리 행렬을 사용한다. 소량의 상호작용에서 학습함으로써 MAMO는 두 가지 벤치마크 데이터셋에서 최신 기술들을 능가하며, 추천 성능의 일반화 능력과 수렴 속도 향상을 입증한다.

ABSTRACT

A common challenge for most current recommender systems is the cold-start problem. Due to the lack of user-item interactions, the fine-tuned recommender systems are unable to handle situations with new users or new items. Recently, some works introduce the meta-optimization idea into the recommendation scenarios, i.e. predicting the user preference by only a few of past interacted items. The core idea is learning a global sharing initialization parameter for all users and then learning the local parameters for each user separately. However, most meta-learning based recommendation approaches adopt model-agnostic meta-learning for parameter initialization, where the global sharing parameter may lead the model into local optima for some users. In this paper, we design two memory matrices that can store task-specific memories and feature-specific memories. Specifically, the feature-specific memories are used to guide the model with personalized parameter initialization, while the task-specific memories are used to guide the model fast predicting the user preference. And we adopt a meta-optimization approach for optimizing the proposed method. We test the model on two widely used recommendation datasets and consider four cold-start situations. The experimental results show the effectiveness of the proposed methods.

연구 동기 및 목표

• 신규 사용자나 항목이 충분한 상호작용 데이터를 확보하지 못하는 추천 시스템의 초기 추천 문제를 해결한다.
• 모델에 종속되지 않은 메타학습(MAML)이 단일 전역 초기화를 사용함으로써 선호 패턴이 뚜렷한 사용자에게 국소 최적해에 갇히는 한계를 극복한다.
• 외부 메모리 메커니즘을 통해 개인화된 바이어스와 빠른 가중치를 통합함으로써 수렴 속도와 추천 정확도를 향상시킨다.
• 사용자 프로필과 선호도 메모리 양측을 활용하여 초기화 및 예측을 안내하는 메타최적화 프레임워크를 설계한다.

제안 방법

• 사용자 프로필 임베딩과 빠른 기울기 값을 저장하는 특성별 메모리 행렬을 도입하여, 모델 파라미터 초기화 시 개인화된 바이어스를 가능하게 한다.
• 사용자 프로필과 저장된 프로필 메모리 간의 유사도를 기반으로 한 검색 메커니즘을 활용해 관련 메모리 벡터에 동적으로 접근한다.
• 공유된 선호 패턴을 항목 간에 저장하는 작업별 메모리 큐브를 설계하여, 추론 속도를 향상시키고 전체 모델 재학습에 대한 의존도를 낮춘다.
• 메타최적화를 통해 메모리 네트워크의 전역 파라미터와 추천 모델의 파라미터를 동시에 최적화하여 사용자 작업 간 손실을 최소화한다.
• 신경 터링 머신(Neural Turing Machines)의 영감을 얻어 메모리 읽기 및 写기 메커니즘을 통합하며, 사용자 및 항목 특성에서 유도된 쿼리 벡터를 사용해 주목성 기반으로 메모리 행에 접근한다.
• 특성별 메모리가 초기화를 안내하고 작업별 메모리가 예측 속도와 정확도를 향상시키는 이중 메모리 아키텍처를 적용한다.

실험 결과

연구 질문

• RQ1 표준 MAML 기반 방법과 비교해 볼 때, 메모리 증강 메타최적화 프레임워크는 초기 추천 환경에서 추천 성능을 향상시킬 수 있는가?
• RQ2 특성별 메모리의 사용이 메타학습에서 최적화 초기화가 열악할 경우 발생하는 수렴 문제를 줄이는가?
• RQ3 작업별 메모리가 전체 모델 상태를 저장하지 않고도 빠른 예측을 가속화하는 데 얼마나 효과적인가?
• RQ4 제안된 방법은 사용자 및 항목의 초기 추천 설정을 포함한 다양한 초기 추천 환경에서 얼마나 효과적인가?

주요 결과

• MAMO는 사용자 및 항목의 초기 추천을 포함한 네 가지 초기 추천 시나리오에서 두 가지 널리 사용되는 추천 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 특성별 메모리는 선호 패턴이 상이한 사용자에 대해 개인화된 초기화를 가능하게 하여 수렴 속도를 크게 향상시키고 국소 최적해에 갇힐 위험을 줄인다.
• 작업별 메모리 큐브는 효과적인 빠른 가중치 역할을 하여 최소한의 파라미터 업데이트로 새로운 사용자 선호도에 신속하게 적응할 수 있도록 한다.
• 실험 결과 MAMO는 MAML 및 MAML++과 같은 기존 메타학습 베이스라인보다 정확도와 강인성 면에서 모두 뛰어난 성능을 보였다.
• 제거 실험 결과 두 메모리 구성 요소가 성능 향상에 독립적이고 상호 보완적으로 기여하며, 특히 특성별 메모리가 수렴에 더 큰 영향을 미친다.