[논문 리뷰] Multi-Interest-Aware User Modeling for Large-Scale Sequential Recommendations

Jianxun Lian, Iyad Batal외 5명|arXiv (Cornell University)|2021. 02. 18.

Recommender Systems and Techniques참고 문헌 35인용 수 4

한 줄 요약

이 논문은 다중 채널 메모리 네트워크인 Sequential User Matrix(SUM)를 제안한다. SUM는 관심 수준 및 인스턴스 수준의 어텐션, 국소적 근접성 감소(데버프), 하이웨이 연결을 통해 장기적인 행동 시퀀스에서 다각적이고 변화하는 사용자 관심사를 모델링한다. SUM는 두 개의 실세계 데이터셋에서 최신 기술 모델들을 능가하며, Bing 네이티브 광고에서 온라인 A/B 테스트에서 클릭 수율이 1.46% 향상되고 수익이 1.32% 증가하는 성과를 기록한다.

ABSTRACT

Precise user modeling is critical for online personalized recommendation services. Generally, users' interests are diverse and are not limited to a single aspect, which is particularly evident when their behaviors are observed for a longer time. For example, a user may demonstrate interests in cats/dogs, dancing and food \& delights when browsing short videos on Tik Tok; the same user may show interests in real estate and women's wear in her web browsing behaviors. Traditional models tend to encode a user's behaviors into a single embedding vector, which do not have enough capacity to effectively capture her diverse interests. This paper proposes a Sequential User Matrix (SUM) to accurately and efficiently capture users' diverse interests. SUM models user behavior with a multi-channel network, with each channel representing a different aspect of the user's interests. User states in different channels are updated by an \emph{erase-and-add} paradigm with interest- and instance-level attention. We further propose a local proximity debuff component and a highway connection component to make the model more robust and accurate. SUM can be maintained and updated incrementally, making it feasible to be deployed for large-scale online serving. We conduct extensive experiments on two datasets. Results demonstrate that SUM consistently outperforms state-of-the-art baselines.

연구 동기 및 목표

• 장기적인 행동 시퀀스에서 단일 벡터 사용자 표현 방식의 한계를 해결하여 다양한 동적 사용자 관심사를 포괄적으로 포착하고자 한다.
• 서브-10ms 지연 시간을 확보하는 실시간 온라인 서비스에 적합한 확장 가능하고 점진적 업데이트가 가능한 모델을 설계하고자 한다.
• 다중 채널 아키텍처를 통해 동시에 여러 관심사를 모델링하여 순차 추천 성능을 향상시키고자 한다.
• 인스턴스 수준의 어텐션과 국소적 근접성 데버프 및 하이웨이 연결을 통한 강력한 표현 학습을 통해 정확성과 내성적 안정성을 향상시키고자 한다.

제안 방법

• SUM는 각 채널이 별개의 사용자 관심을 나타내는 다중 채널 메모리 네트워크를 사용하여 다양한 선호도를 병렬로 모델링한다.
• 관련성과 맥락에 기반해 사용자 행동 이벤트를 관련 채널에 동적으로 라우팅하기 위해 관심 수준 및 인스턴스 수준의 어텐션을 적용한다.
• 각 채널 내의 지우기-추가 업데이트 메커니즘은 어텐션을 활용해 메모리 상태를 선택적으로 덮어쓰거나 유지함으로써 관심 추적 정확도를 향상시킨다.
• 시간적으로 가까운데 의미적으로 관련 없는 이벤트에서 발생하는 노이즈를 억제하기 위해 국소적 근접성 데버프 구성 요소를 도입한다.
• 채널 간 하이웨이 연결을 통해 정보 흐름을 촉진하고 기울기 전파를 개선함으로써 더 깊고 정확한 모델링을 지원한다.
• 모델는 점진적 업데이트를 지원하여 저지연 시간의 효율적 온라인 추론이 가능하며, 대규모 배포에 적합하다.

실험 결과

연구 질문

• RQ1 장기적인 순차적 행동 데이터에서 다중 채널 메모리 네트워크가 다양한 사용자 관심사를 효과적으로 모델링할 수 있는가?
• RQ2 관심 수준의 어텐션만 사용하는 것과 비교해 인스턴스 수준의 어텐션은 관심 표현 정확도를 얼마나 향상시키는가?
• RQ3 국소적 근접성 데버프 메커니즘이 시간적으로 가까운데 관련 없는 이벤트에서 발생하는 노이즈를 어느 정도 감소시키는가?
• RQ4 채널 간 하이웨이 연결은 모델 성능과 학습 안정성에 어떤 영향을 미치는가?
• RQ5 실세계 산업 온라인 서비스 환경에서 SUM은 뛰어난 성능과 확장성을 달성할 수 있는가?

주요 결과

• SUM는 두 개의 실세계 데이터셋에서 최신 기술 모델들을 일관되게 능가하며, 순차 추천 작업에서 뛰어난 성능을 입증한다.
• 아마존 및 타오바오 데이터셋에서 SUM는 AUC와 NDCG 모두에서 유의미한 향상을 기록했으며, 기존 모델 대비 두 지표에서 모두 개선된 성능을 보였다.
• Bing 네이티브 광고에서의 온라인 A/B 테스트 결과, GRU 기반의 생산 모델 대비 클릭 수율이 1.46% 향상되고 수익이 1.32% 증가했다.
• 제거 실험을 통해 인스턴스 수준의 어텐션, 데버프, 하이웨이 연결 모두가 모델 성능 향상에 기여하는 것으로 확인되었다.
• 점진적 업데이트 메커니즘 덕분에 SUM는 저지연 추론을 유지할 수 있어 대규모 온라인 배포에 적합하다.