[논문 리뷰] HAM: Hybrid Associations Models for Sequential Recommendation

Bo Peng, Zhiyun Ren외 2명|arXiv (Cornell University)|2020. 02. 27.

Recommender Systems and Techniques참고 문헌 27인용 수 11

한 줄 요약

HAM은 풀링을 통한 사용자 장기 선호도, 저차 및 고차 항목 상관관계 패턴, 그리고 해다ارد乘법을 이용한 명시적 항목 상호보완성을 결합한 새로운 효율적인 순차 추천 모델을 제안한다. 이 모델은 여섯 개인 벤치마크 데이터셋에서 SOTA 기법 대비 최대 46.6% 향상과 139.7배의 속도 향상을 달성한다.

ABSTRACT

Sequential recommendation aims to identify and recommend the next few items for a user that the user is most likely to purchase/review, given the user's purchase/rating trajectories. It becomes an effective tool to help users select favorite items from a variety of options. In this manuscript, we developed hybrid associations models (HAM) to generate sequential recommendations using three factors: 1) users' long-term preferences, 2) sequential, high-order and low-order association patterns in the users' most recent purchases/ratings, and 3) synergies among those items. HAM uses simplistic pooling to represent a set of items in the associations, and element-wise product to represent item synergies of arbitrary orders. We compared HAM models with the most recent, state-of-the-art methods on six public benchmark datasets in three different experimental settings. Our experimental results demonstrate that HAM models significantly outperform the state of the art in all the experimental settings, with an improvement as much as 46.6%. In addition, our run-time performance comparison in testing demonstrates that HAM models are much more efficient than the state-of-the-art methods, and are able to achieve significant speedup as much as 139.7 folds.

연구 동기 및 목표

• 딥 러닝 모델이 과적합되거나 의미 없는 어텐션 가중치를 학습할 수 있는 희소한 순차 추천 데이터의 과제를 해결한다.
• 더 단순하고 해석 가능한 모델이 순차 추천에서 복잡한 딥 러닝 접근 방식을 능가할 수 있는지 조사한다.
• 장기 사용자 선호도, 순차적 항목 상관관계(저차 및 고차), 그리고 항목 상호보완성을 명시적으로 캡처하는 모델을 개발한다.
• SOTA 기법 대비 추천 정확도와 추론 효율성을 향상시킨다.
• 공통 평가 설정(예: 80-20-CUT 및 3-LOS)의 한계를 분석하고 80-3-CUT을 더 신뢰할 수 있는 벤치마크로 제안함으로써 실험 평가의 표준화를 도모한다.

제안 방법

• 모든 이력 구매/평가 기반으로 유저 임베딩을 도출하여 사용자 장기 선호도를 모델링한다.
• 최근 항목 시퀀스에 대해 평균 및 최대 풀링을 적용하여 저차 및 고차 항목 상관관계를 표현한다.
• 항목 임베딩에 대해 순환 해다ارد 곱 연산을 통해 임의의 차수의 항목 상호보완성을 명시적으로 모델링한다.
• 세 구성 요소—사용자 선호도, 항목 상관관계, 상호보완성—을 선형 스코어링 함수에 통합하여 추천 순위를 매긴다.
• 모델 복잡도가 비례적으로 증가하지 않도록 하면서도 고차 항목 상호작용을 효과적으로 모델링하기 위해 잠재 교차 기법을 사용한다.
• 어텐션 또는 순환 구조가 없기 때문에 효율적인 추론이 가능한, 표준 추천 손실을 사용해 종합적으로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 희소 데이터셋에서 어텐션 기반 모델이 아닌 단순한 모델이 복잡한 딥 러닝 모델을 능가할 수 있는가?
• RQ2 저차 및 고차 항목 상관관계 패턴이 추천 성능에 얼마나 기여하는가?
• RQ3 항목 상호보완성과 사용자 장기 선호도를 명시적으로 모델링하면 추천 정확도에 어떤 영향을 미치는가?
• RQ4 다른 평가 설정(80-20-CUT, 80-3-CUT, 3-LOS)은 성능 추정과 모델 비교에 어떤 영향을 미치는가?
• RQ5 희소 추천 데이터에서 딥 러닝 순차 모델의 어텐션 가중치는 실제로 의미 있는가?

주요 결과

• 80-3-CUT 설정 하에서 HAM 모델은 SOTA 기법인 Caser 대비 NDCG@10에서 최대 46.6% 향상된 성능을 기록했다.
• HAM은 추론 시 Caser 대비 평균 139.7배, SASRec 대비 28.0배 빠른 속도를 보이며 뛰어난 효율성을 입증했다.
• 절단 실험 결과, 저차 상관관계를 모델링함으로써 Comics 데이터셋에서 성능이 14.9% 향상되어 그 중요성을 확인했다.
• 희소 데이터셋에서 SOTA 기법인 SASRec의 어텐션 가중치는 대부분 의미가 없음을 발견하여, 이러한 환경에서는 어텐션 기반 기법의 유용성이 제한적임을 시사했다.
• 80-3-CUT 설정은 검증 및 테스트 세트 크기가 균형을 이루기 때문에 80-20-CUT 및 3-LOS 대비 더 신뢰할 수 있는 순차 추천 모델 평가 기준으로서 유리하다.
• HAM에서 학습된 항목 표현에 대해 동일한 가중치를 적용하는 것이 적응형 가중치보다 더 우수한 성능을 내어, 표현 품질에 대한 민감도가 낮음을 보여주었다.