[논문 리뷰] Hierarchical Gating Networks for Sequential Recommendation

Chen Ma, Peng Kang외 1명|arXiv (Cornell University)|2019. 06. 21.

Recommender Systems and Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 특성 및 인스턴스 게이팅 메커니즘을 통해 장기적이고 단기적 사용자 관심사를 동시에 포착하고, 제품 모듈을 통해 항목 간 관계를 명시적으로 모델링하는 계층적 게이팅 네트워크(HGN)를 제안한다. 다섯 개인 실세계 데이터셋에서 평가된 결과, HGN은 최신 기술(SOTA) 방법보다 상위 성능을 기록하며, 파라미터 효율적인 설계 덕분에 더 빠른 학습 속도를 달성한다.

ABSTRACT

The chronological order of user-item interactions is a key feature in many recommender systems, where the items that users will interact may largely depend on those items that users just accessed recently. However, with the tremendous increase of users and items, sequential recommender systems still face several challenging problems: (1) the hardness of modeling the long-term user interests from sparse implicit feedback; (2) the difficulty of capturing the short-term user interests given several items the user just accessed. To cope with these challenges, we propose a hierarchical gating network (HGN), integrated with the Bayesian Personalized Ranking (BPR) to capture both the long-term and short-term user interests. Our HGN consists of a feature gating module, an instance gating module, and an item-item product module. In particular, our feature gating and instance gating modules select what item features can be passed to the downstream layers from the feature and instance levels, respectively. Our item-item product module explicitly captures the item relations between the items that users accessed in the past and those items users will access in the future. We extensively evaluate our model with several state-of-the-art methods and different validation metrics on five real-world datasets. The experimental results demonstrate the effectiveness of our model on Top-N sequential recommendation.

연구 동기 및 목표

• 순차적 추천에서 희박한 암시적 피드백으로부터 장기적이고 단기적 사용자 관심사를 모델링하는 데 도전한다.
• 기존 모델들이 짧은 시퀀스에서 정보성 있는 항목 특성과 중요한 항목을 선택적으로 주목하지 못하는 한계를 극복한다.
• 사용자가 연속적으로 관련된 항목을 상호작용하는 경향이 있기 때문에, 항목 간 관계를 명시적으로 포착한다.
• RNN 및 CNN과 비교해 모델 복잡도를 감소시키면서도 높은 성능을 유지하는 파라미터 효율적인 아키텍처를 설계한다.
• 특히 대규모 환경에서 추천 정확도를 희생시키지 않고 학습 효율성을 향상시킨다.

제안 방법

• 모델은 사용자 선호도에 기반해 관련 잠재 특성을 적응적으로 선택하는 특성 게이팅 모듈을 활용하여 사용자별 특성 라우팅을 가능하게 한다.
• 인스턴스 게이팅 모듈은 사용자 최근 상호작용 이력에서 핵심 항목을 식별하고 우선순위를 정하여 단기적 관심을 반영한다.
• 계층적 게이팅 메커니즘은 이중 수준의 라우팅 시스템을 형성한다: 먼저 특성이 선택되고, 그 다음 핵심 인스턴스가 하류 레이어로 전달된다.
• 항목 간 제품 모듈은 과거 항목과 미래 후보 항목 간의 관계를 명시적으로 모델링하여 순차적 패턴 학습을 향상시킨다.
• 쌍순서 랭킹 손실을 사용해 엔드 투 엔드 최적화를 위한 베이지안 개인화 랭킹(BPR)과 통합된다.
• 복잡한 RNN 또는 CNN을 피하고, O(N²d + Nd²) 복잡도를 가지는 파라미터 효율적인 행렬 연산에 의존한다. 여기서 N은 항목 수이고 d는 임bedding 크기이다.

실험 결과

연구 질문

• RQ1 파라미터 효율적인 아키텍처가 순차적 추천에서 장기적이고 단기적 사용자 관심사를 효과적으로 모델링할 수 있는가?
• RQ2 특성 수준과 인스턴스 수준의 게이팅은 표준 RNN 또는 CNN 모델 대비 사용자 선호도 표현을 얼마나 향상시키는가?
• RQ3 항목 간 관계를 명시적으로 모델링하면 순차적 추천 성능에 얼마나 기여하는가?
• RQ4 SASRec 및 Caser와 같은 기존 딥러닝 기반 순차적 모델과 비교해 제안된 모델의 학습 효율성은 어떠한가?
• RQ5 추천 정확도를 극대화하기 위해 임베딩 차원과 시퀀스 길이와 같은 하이퍼파ram터의 최적 설정은 무엇인가?

주요 결과

• HGN은 Books, Comics, CDs, Children, ML20M 등 다섯 개의 실세계 데이터셋에서 R@5 및 R@10 등의 다양한 평가 지표에서 최신 기술(SOTA) 성능을 달성한다.
• d=50일 때 학습 가능한 파라미터 수를 5,350으로 줄여, GRU(15,300) 및 CNN(26,154) 기준선보다 현저히 적은 수를 기록하여 높은 파라미터 효율성을 입증한다.
• 모든 비교 모델 중에서 가장 빠른 학습 속도를 보이며, CDs 데이터셋에서 1에포크당 0.957초, 대부분의 다른 데이터셋에서는 3초 이내의 추론 시간을 기록한다.
• 항목 간 제품 모듈의 포함으로 일관된 성능 향상이 관찰되어, 항목 간 관계를 모델링함으로써 순차적 예측 성능 향상이 가능함을 확인한다.
• 임베딩 차원 d가 증가함에 따라 성능이 향상되다가 어느 지점에서 포화 상태에 도달함을 확인하였으며, 이는 d≈50에서 충분한 능력이 확보됨을 시사한다.
• |L|=3 및 |T|=3일 때 최적 성능를 달성하여, 세 개의 항목 이력과 세 개의 미래 항목 예측이 관련성과 노이즈 감소 사이의 최적 균형을 이룬다는 것을 시사한다.