[논문 리뷰] A Model of Two Tales: Dual Transfer Learning Framework for Improved Long-tail Item Recommendation

Yin Zhang⋆, Derek Zhiyuan Cheng외 4명|arXiv (Cornell University)|2020. 10. 29.

Recommender Systems and Techniques참고 문헌 49인용 수 7

한 줄 요약

이 논문은 모델 수준의 메타학습과 아이템 수준의 커리큘럼 학습을 공동으로 활용하여 장꼬리 아이템 추천 성능을 향상시키는 이중 전이 학습 프레임워크인 MIRec을 제안한다. 암묵적 데이터 증강과 의미적 특징 정렬을 통해 고피드백 헤드 아이템에서 저피드백 테일 아이템으로 지식을 전이함으로써, MIRec은 히트 비율과 NDCG에서 테일 아이템 성능을 크게 향상시키며, 동시에 전체 및 헤드 아이템 추천 성능도 향상시킨다.

ABSTRACT

Highly skewed long-tail item distribution is very common in recommendation systems. It significantly hurts model performance on tail items. To improve tail-item recommendation, we conduct research to transfer knowledge from head items to tail items, leveraging the rich user feedback in head items and the semantic connections between head and tail items. Specifically, we propose a novel dual transfer learning framework that jointly learns the knowledge transfer from both model-level and item-level: 1. The model-level knowledge transfer builds a generic meta-mapping of model parameters from few-shot to many-shot model. It captures the implicit data augmentation on the model-level to improve the representation learning of tail items. 2. The item-level transfer connects head and tail items through item-level features, to ensure a smooth transfer of meta-mapping from head items to tail items. The two types of transfers are incorporated to ensure the learned knowledge from head items can be well applied for tail item representation learning in the long-tail distribution settings. Through extensive experiments on two benchmark datasets, results show that our proposed dual transfer learning framework significantly outperforms other state-of-the-art methods for tail item recommendation in hit ratio and NDCG. It is also very encouraging that our framework further improves head items and overall performance on top of the gains on tail items.

연구 동기 및 목표

• 희소한 사용자 피드백으로 인해 장꼬리 아이템의 추천 성능이 떨어지는 문제를 해결하기 위해.
• 헤드 아이템과 테일 아이템의 분포가 상당히 다름에도 불구하고 전통적인 전이 학습의 한계를 극복하기 위해.
• 풍부한 피드백을 가진 헤드 아이템으로부터 지식을 전이하여 테일 아이템의 표현 학습을 향상시키기 위해.
• 테일 아이템 성능 향상이 전체 또는 헤드 아이템 추천 품질에 악영향을 주지 않도록 보장하기 위해.
• 모델 파라미터와 아이템 특징 양쪽 모두를 아우르는 통합 프레임워크를 개발하여 원활한 지식 전이를 가능하게 하기 위해.

제안 방법

• 모델 수준과 아이템 수준의 지식 전이를 결합한 이중 전이 학습 프레임워크인 MIRec을 제안한다.
• 소수의 샘플에서 다수의 샘플로의 학습 영역으로의 모델 파라미터 변화에 대한 일반적인 메타 매핑을 메타학습을 통해 학습한다.
• 이 메타 매핑을 활용해 테일 아이템의 훈련 데이터를 암묵적으로 증강함으로써 표현 학습을 향상시킨다.
• 헤드 아이템과 테일 아이템을 순차적으로 훈련하는 커리큘럼 학습(LTCur)을 도입하며, 이들 간에 특징 기반 연결을 구축한다.
• 장꼬리 아이템 간의 의미적 연결을 위해 아이템 수준의 특징(예: 장르, 제목)을 활용하여 지식 전이를 더욱 원활하게 한다.
• 공유된 메타학습과 커리큘럼 기반 훈련을 통해 헤드 및 테일 아이템 표현을 최적화하는 이중 타워 신경망 아키텍처를 활용한다.

실험 결과

연구 질문

• RQ1 메타학습은 고피드백 헤드 아이템에서 저피드백 테일 아이템으로의 지식 전이에 효과적으로 기여하는가?
• RQ2 헤드와 테일 아이템을 번갈아가며 훈련하는 커리큘럼 학습은 테일 아이템의 표현 학습을 어떻게 향상시키는가?
• RQ3 모델 수준과 아이템 수준의 전이를 통합함으로써 테일 아이템과 전체 추천 성능이 동시에 향상되는가?
• RQ4 제안된 프레임워크는 헤드 아이템 또는 전체 모델 성능을 떨어뜨리지 않고도 테일 아이템 성능을 향상시킬 수 있는가?
• RQ5 학습된 임bedding는 테일 아이템의 개선된 의미적 클러스터링을 어떻게 반영하는가?

주요 결과

• MIRec은 MovieLens1M 및 Amazon-Books 데이터셋에서 상태기반 기법들보다 히트 비율과 NDCG에서 뚜렷한 승리를 거두며, 특히 장꼬리 아이템에서 두각을 나타낸다.
• MovieLens1M에서 MIRec은 가장 강력한 베이스라인 대비 테일 아이템의 히트 비율에서 12.3% 향상되고 NDCG에서 14.1% 향상되었다.
• 커리큘럼 학습 전략(LTCur)은 두 훈련 단계에서 헤드 및 테일 아이템의 검증 손실을 감소시켜 효과적인 지식 전이를 입증했다.
• t-SNE 시각화 결과, MIRec은 기준 이중 타워 모델보다 테일 아이템에 대해 더 일관되고 장르 인식 능력이 뛰어난 임베딩을 학습하는 것으로 나타났다.
• 사례 연구 결과, MIRec은 낮은 협업 신호에도 불구하고 의미적으로 유사한 테일 아이템(예: 삶의 고투를 다룬 영화)을 함께 클러스터링하는 것으로 확인되었다.
• 이 프레임워크는 테일 아이템 성능 향상의 부작용으로서 전체 및 헤드 아이템 성능 향상까지 이끌어내어, 테일 아이템 향상에 따른 악영향이 없음을 시사한다.