[논문 리뷰] Frequency Enhanced Hybrid Attention Network for Sequential Recommendation

Xinyu Du, Huanhuan Yuan외 5명|arXiv (Cornell University)|2023. 04. 18.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 시간 도메인과 주파수 도메인을 모두 모델링함으로써 순차적 추천 성능을 햖थ하는 주파수 강화 하이브리드 어텐션 네트워크인 FEARec을 제안한다. 고주파 정보를 유지하기 위해 주파수 램프 구조를 도입하고, 자율상관관계를 통한 주파수 도메인 자기어텐션 메커니즘을 통해 주기적 패턴을 포착함으로써, 대trastive 학습과 주파수 정규화를 통해 네 개의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The self-attention mechanism, which equips with a strong capability of modeling long-range dependencies, is one of the extensively used techniques in the sequential recommendation field. However, many recent studies represent that current self-attention based models are low-pass filters and are inadequate to capture high-frequency information. Furthermore, since the items in the user behaviors are intertwined with each other, these models are incomplete to distinguish the inherent periodicity obscured in the time domain. In this work, we shift the perspective to the frequency domain, and propose a novel Frequency Enhanced Hybrid Attention Network for Sequential Recommendation, namely FEARec. In this model, we firstly improve the original time domain self-attention in the frequency domain with a ramp structure to make both low-frequency and high-frequency information could be explicitly learned in our approach. Moreover, we additionally design a similar attention mechanism via auto-correlation in the frequency domain to capture the periodic characteristics and fuse the time and frequency level attention in a union model. Finally, both contrastive learning and frequency regularization are utilized to ensure that multiple views are aligned in both the time domain and frequency domain. Extensive experiments conducted on four widely used benchmark datasets demonstrate that the proposed model performs significantly better than the state-of-the-art approaches.

연구 동기 및 목표

• 순차적 추천에서 전통적인 모델이 고주파 및 주기적 사용자 행동 패턴을 포착하지 못하는 자기어텐션 메커니즘의 한계를 해결하기 위해.
• 푸리에 변환을 통해 시간 도메인에서 주파수 도메인으로의 전환을 통해 장거리 의존성을 개선하기 위해.
• 어텐션 메커니즘 내에서 새로운 주파수 램프 구조를 통해 저주파 및 고주파 정보를 명시적으로 학습하기 위해.
• 주파수 도메인에서 자율상관관계를 활용하여 사용자 행동의 내재된 주기성을 포착하기 위해.
• 시간 도메인과 주파수 도메인 간의 표현을 대비 학습과 주파수 정규화를 통해 정렬함으로써 표현 학습을 향상시키기 위해.

제안 방법

• 원래 자기어텐션 메커니즘을 수정하기 위해 주파수 램프 구조를 제안하여 주파수 도메인 내에서 저주파 및 고주파 성분을 명시적으로 학습할 수 있도록 한다.
• 지연된 시계열의 자율상관관계를 기반으로 한 주파수 도메인 어텐션 메커니즘을 도입하여 주기적 행동 패턴을 모델링한다.
• 시간 도메인 시계열을 주파수 도메인 표현으로 변환하기 위해 이산 푸리에 변환(DFT)을 적용하여 스펙트럼 분석을 향상시킨다.
• 계산 복잡도를 감소시키기 위해 빠른 푸리에 변환(FFT)과 역 FFT(IFFT)를 사용하여 DFT를 효율적으로 계산하고 시간 도메인 신호를 재구성한다.
• 위너-킨친 정리를 활용하여 FFT를 통해 주파수 도메인에서 자율상관관계를 계산함으로써 시간 지연 유사성을 효율적으로 탐지한다.
• 대비 학습과 주파수 정규화를 통합하여 시간 도메인과 주파수 도메인 간의 표현을 정렬함으로써 일반화 능력과 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 자기어텐션 메커니즘은 기존 모델에서 손실되는 고주파 정보를 유지할 수 있도록 향상시킬 수 있는가?
• RQ2 사용자 행동 시계열의 주기적 패턴은 주파수 도메인에서 효과적으로 모델링할 수 있는가?
• RQ3 시간 도메인과 주파수 도메인 어텐션을 결합하면 순차적 추천 성능을 향상시킬 수 있는가?
• RQ4 주파수 정규화와 대비 학습은 시간 도메인과 주파수 도메인 표현 간의 정렬을 얼마나 향상시키는가?
• RQ5 제안된 FEARec 모델은 표준 순차적 추천 벤치마크에서 기존 최신 기술 수준(SOTA) 방법들을 초월하는가?

주요 결과

• FEARec는 네 개의 널리 사용되는 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 SOTA 모델보다 순차적 추천 작업에서 뛰어난 성능을 보였다.
• 표준 자기어텐션 메커니즘이 무시해 온 고주파 사용자 상호작용 패턴을 명시적으로 포착함으로써 추천 정확도가 크게 향상됨을 확인하였다.
• 주파수 도메인 자율상관관계 어텐션 통합으로 인해 일일 또는 주간 상호작용 주기와 같은 주기적 사용자 행동 추세를 효과적으로 모델링할 수 있었다.
• 대비 학습과 주파수 정규화가 시간 도메인과 주파수 도메인 간의 표현을 성공적으로 정렬하여 모델의 강인성과 일반화 능력을 향상시켰다.
• 주파수 램프 구조는 저주파 및 고주파 정보를 효과적으로 균형 잡아 순수 저통과 필터처럼 행동하는 것을 방지하였다.
• 실험 결과, FEARec는 평가된 모든 데이터셋에서 Recall과 NDCG를 포함한 다수의 메트릭에서 일관되게 성능 향상을 보였다.