[논문 리뷰] Denoising User-aware Memory Network for Recommendation

Zhi Bian, Shaojun Zhou외 7명|arXiv (Cornell University)|2021. 07. 12.

Recommender Systems and Techniques참고 문헌 45인용 수 4

한 줄 요약

이 논문은 암시적 피드백을 수직 맵핑을 통해 명시적 피드백을 이용해 노이즈를 제거하고, 정교한 메모리 네트워크로 장기적 사용자 선호도를 모델링하며, 게이팅 메커니즘을 통해 단기 및 장기적 관심사를 융합함으로써 CTR 예측을 향상시키는 DUMN(Denoising User-aware Memory Network)을 제안한다. DUMN는 두 개의 실세계 전자상거래 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 편향이 없는 사용자 선호도를 보다 정확하고 견고하게 포착하는 데 성공한다.

ABSTRACT

For better user satisfaction and business effectiveness, more and more attention has been paid to the sequence-based recommendation system, which is used to infer the evolution of users' dynamic preferences, and recent studies have noticed that the evolution of users' preferences can be better understood from the implicit and explicit feedback sequences. However, most of the existing recommendation techniques do not consider the noise contained in implicit feedback, which will lead to the biased representation of user interest and a suboptimal recommendation performance. Meanwhile, the existing methods utilize item sequence for capturing the evolution of user interest. The performance of these methods is limited by the length of the sequence, and can not effectively model the long-term interest in a long period of time. Based on this observation, we propose a novel CTR model named denoising user-aware memory network (DUMN). Specifically, the framework: (i) proposes a feature purification module based on orthogonal mapping, which use the representation of explicit feedback to purify the representation of implicit feedback, and effectively denoise the implicit feedback; (ii) designs a user memory network to model the long-term interests in a fine-grained way by improving the memory network, which is ignored by the existing methods; and (iii) develops a preference-aware interactive representation component to fuse the long-term and short-term interests of users based on gating to understand the evolution of unbiased preferences of users. Extensive experiments on two real e-commerce user behavior datasets show that DUMN has a significant improvement over the state-of-the-art baselines. The code of DUMN model has been uploaded as an additional material.

연구 동기 및 목표

• 암시적 피드백의 노이즈 문제를 다루어 사용자 선호도 표현의 편향을 줄이고 추천 성능을 향상시키기 위해.
• 시퀀스 길이에 의존하는 RNN 기반 방법의 한계를 극복하여 장기적 사용자 관심사를 보다 효과적으로 모델링하기 위해.
• 선호도 인식적인 방식으로 단기 및 장기적 관심사를 융합하여 CTR 예측의 정확도를 향상시키기 위해.
• 암시적(클릭/비클릭) 및 명시적(좋아요/싫어요) 피드백을 모두 활용하여 편향 없는 선호도 모델링을 위한 통합 프레임워크를 개발하기 위해.
• 실세계 추천 환경에서 특징 정제 및 세밀한 장기적 관심 표현의 효과를 입증하기 위해.

제안 방법

• 명시적 피드백을 기반으로 암시적 피드백 표현을 정렬하고 정제하기 위해 수직 맵핑을 사용하는 특징 정제(FP) 모듈을 도입한다. 이는 노이즈를 감소시킨다.
• 장기간에 걸쳐 장기적 사용자 관심사를 효과적으로 캡처하기 위해 메모리 용량과 안정성을 향상시킨 사용자 메모리 네트워크(UMN)를 제안한다.
• 게이팅 메커니즘을 사용하여 동적으로 단기 및 장기적 관심사를 융합하는 선호도 인식 상호작용 표현(PAIR) 모듈을 설계한다.
• 포괄적인 사용자 선호도 모델링을 위해 클릭, 비클릭, 좋아요, 싫어요의 네 가지 피드백 시퀀스를 구성한다.
• 명시적 피드백의 높은 신뢰성에 기반해 노이즈가 있는 암시적 피드백 표현을 수정하기 위해 노이즈 제거 전략을 활용한다.
• CTR 예측과 싫어요 예측을 동시에 최적화할 수 있도록 다중 작업 학습 목표를 사용하여 엔드 투 엔드 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 명시적 피드백을 효과적으로 활용하여 암시적 피드백 표현의 노이즈를 제거하고 사용자 선호도 모델링을 향상시킬 수 있는가?
• RQ2 표준 RNN과 비교해 복잡한 메모리 네트워크 아키텍처가 장기적 사용자 관심사를 더 잘 포착하고 유지할 수 있는가?
• RQ3 게이팅 메커니즘을 통해 단기 및 장기적 관심사를 융합함으로써 더 정확하고 안정적인 CTR 예측이 이루어지는가?
• RQ4 실세계 전자상거래 추천 작업에서 제안된 DUMN 모델은 최신 기술 수준(SOTA) 기준 모델보다 어떻게 성능을 냈는가?
• RQ5 모델이 사용자 기피(예: 싫어요 예측)를 더 잘 포착하여 사용자 불만을 줄이는 데 얼마나 기여하는가?

주요 결과

• DUMN는 두 개의 실세계 전자상거래 데이터셋에서 최신 기술 수준(SOTA) 기준 모델보다 뚜렷한 성능 향상을 보이며, 뛰어난 CTR 예측 성능을 입증한다.
• 특징 정제 모듈은 암시적 피드백의 노이즈를 효과적으로 감소시키며, 시각화 결과에서 정제된 클릭/비클릭 표현과 명시적 좋아요/싫어요 표현 간의 분리가 뚜렷하게 증가한 것으로 확인된다.
• 사용자 메모리 네트워크는 안정적인 장기적 사용자 관심을 성공적으로 캡처하며, 시간이 지남에 따라 동일 사용자의 표현들이 임베딩 공간에서 뭉쳐지는 경향을 보인다.
• 단기적 관심 표현은 더 산산이 흩어져 있는 반면, 장기적 표현은 안정적이고 밀도 높은 영역으로 수렴함으로써, 모델이 일시적 선호도와 지속적인 선호도를 효과적으로 구분할 수 있음을 확인한다.
• DFN 기준 모델 대비 DUMN는 싫어요 예측 성능에서 뛰어난 성능을 보이며, 사용자 기피에 대한 민감도 향상과 함께 모델의 견고성 향상을 확인한다.
• 시각화 결과는 FP 및 UMN 모듈이 모델이 편향 없고 세밀한 사용자 선호도를 학습하는 데 효과적으로 기여함을 확인한다.