[논문 리뷰] Dynamic Memory based Attention Network for Sequential Recommendation

Qiaoyu Tan, Jianwei Zhang외 5명|arXiv (Cornell University)|2021. 02. 18.

Recommender Systems and Techniques참고 문헌 54인용 수 7

한 줄 요약

이 논문은 장기적 사용자 관심사를 명시적으로 캡처하고 유지하기 위해 장기 사용자 행동 시계열을 부분 시계열으로 분할하고 동적 메모리 블록을 사용하는 동적 메모리 기반 주의망(DMAN)을 제안한다. 짧은 기간의 동적 변화를 모델링하기 위해 순환 주의망을 사용하고, 장기적 충실도를 향상시키기 위해 재구성 손실 최적화 메모리 메커니즘을 결합함으로써, 네 가지 벤치마크 데이터셋에서 장기 시계열에 대해 효율적인 추론과 함께 최신 기술 성능을 달성한다.

ABSTRACT

Sequential recommendation has become increasingly essential in various online services. It aims to model the dynamic preferences of users from their historical interactions and predict their next items. The accumulated user behavior records on real systems could be very long. This rich data brings opportunities to track actual interests of users. Prior efforts mainly focus on making recommendations based on relatively recent behaviors. However, the overall sequential data may not be effectively utilized, as early interactions might affect users' current choices. Also, it has become intolerable to scan the entire behavior sequence when performing inference for each user, since real-world system requires short response time. To bridge the gap, we propose a novel long sequential recommendation model, called Dynamic Memory-based Attention Network (DMAN). It segments the overall long behavior sequence into a series of sub-sequences, then trains the model and maintains a set of memory blocks to preserve long-term interests of users. To improve memory fidelity, DMAN dynamically abstracts each user's long-term interest into its own memory blocks by minimizing an auxiliary reconstruction loss. Based on the dynamic memory, the user's short-term and long-term interests can be explicitly extracted and combined for efficient joint recommendation. Empirical results over four benchmark datasets demonstrate the superiority of our model in capturing long-term dependency over various state-of-the-art sequential models.

연구 동기 및 목표

• 실제 추천 시스템에서 표준 순차 모델이 장기적 의존성을 포착하지 못하는 문제를 해결하기 위해 매우 긴 사용자 행동 시계열을 모델링하는 데 도전한다.
• 저지연 산업 응용 프로그램에서 비현실적인 장기 시계열 전체를 스캔하는 데서 발생하는 계산 비효율성을 해결한다.
• 특히 초기 상호작용이 이후 선택에 영향을 미치는 경우에 추천 정확도를 향상시키기 위해 짧은 기간 및 장기 사용자 선호도를 명시적으로 모델링한다.
• 훈련 중 메모리 충실도를 향상시키기 위해 재구성 손실을 도입함으로써 메모리 증강 네트워크에서 장기적 메모리 상실을 완화한다.
• 하나의 하이퍼파라미터를 최소화하면서도 높은 성능를 유지하면서 추론 시간을 줄이기 위해 부분 시계열 처리 및 동적 메모리 추상화를 통한 확장성 있고 효율적인 아키텍처를 개발한다.

제안 방법

• 추론 중 계산 부담을 줄이기 위해 전체 사용자 행동 시계열을 연속적인 부분 시계열로 분할한다.
• 이웃하는 부분 시계열 간의 의존성을 캡처함으로써 짧은 기간 사용자 관심사를 모델링하기 위해 순환 주의망을 사용한다.
• 지역 재구성 손실을 사용하여 외부 메모리 블록에 장기적 사용자 관심사를 추상화하는 동적 메모리 네트워크를 도입한다.
• 입력 부분 시계열을 재구성하도록 메모리 블록을 훈련시켜 장기적 선호도의 고정밀 유지 보장을 확보한다.
• 주어진 사용자 임베딩를 생성하기 위해 주의 메커니즘을 통해 짧은 기간 및 장기적 표현을 결합한다.
• 다중 작업 학습 목표를 사용하여 전체 모델을 엔드 투 엔드로 최적화하며, 이는 다음 아이템 예측과 메모리 재구성 모두 포함된다.

실험 결과

연구 질문

• RQ1 전체 시계열을 스캔하지 않고도 메모리 증강 주의망이 매우 긴 행동 시계열에서 장기적 사용자 선호도를 효과적으로 모델링할 수 있는가?
• RQ2 재구성 손실을 갖는 동적 메모리 추상화는 표준 메모리 네트워크에 비해 메모리 충실도를 향상시키고 잊혀짐을 줄이는 데 얼마나 기여하는가?
• RQ3 짧은 기간 및 장기적 선호도를 함께 모델링함으로써 장기 순차 데이터에서 추천 성능이 얼마나 향상되는가?
• RQ4 제안된 부분 시계열 처리 전략은 전체 시계열 모델 대비 성능과 효율성의 균형을 얼마나 잘 유지하는가?
• RQ5 최고의 성능를 달성하면서도 계산 비용을 최소화하기 위해 최적의 메모리 크기 및 주의층 수는 무엇인가?

주요 결과

• DMAN은 MovieLens, Taobao, JD.com, XLong의 네 가지 벤치마크 데이터셋에서 기존의 순차 추천 모델보다 뛰어난 최신 기술 성능을 달성하며, 장기 시계열 환경에서 뛰어난 성능을 보였다.
• 모델은 빠른 수렴을 보였으며, Taobao, JD.com, XLong에서는 일반적으로 2 에포크 내외, MovieLens에서는 50 에포크 내외에서 수렴하였다. 이는 강력한 훈련 효율성을 시사한다.
• MovieLens에서 메모리 블록 수(m)를 20으로 설정할 경우 최적의 성능를 달성했으며, 그 이상으로 늘릴 경우는 근소한 성능 향상만 있었고, 이는 표현 능력의 포화 상태를 시사한다.
• 두 개의 주의층(L=2)을 사용할 경우 성능와 메모리 비용 사이의 좋은 균형을 이룬다. 깊은 네트워크는 성능 향상에 비해 수익 감소 효과를 보였다.
• 재구성 손실을 갖는 동적 메모리 메커니즘은 장기적 메모리 충실도를 크게 향상시켜 잊혀짐을 줄이고 장기 시계열 모델링 능력을 향상시켰다.
• 실증 결과는 짧은 기간 및 장기적 선호도를 모두 모델링하는 것이 최근 행동에만 집중하거나 정적 메모리에 의존하는 방법보다 더 나은 추천을 이끌어낸다는 것을 확인했다.