[논문 리뷰] An Attentive Inductive Bias for Sequential Recommendation beyond the Self-Attention

Yehjin Shin, Jeongwhan Choi외 2명|arXiv (Cornell University)|2023. 12. 16.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 Transformer 기반 SR에서의 과도한 평활화 문제를 해결하기 위해 푸리에 변환 기반의 주의적 인덕티브 바이어스와 학습 가능한 주파수 스케일러를 통합한 새로운 순차 추천 모델인 BSARec을 제안한다. 이는 저주파 및 고주파 패턴 간의 균형을 맞춘다. 6개의 벤치마크 데이터셋에서의 실험 결과, BSARec은 7개의 최신 기준 모델보다 추천 성능에서 뛰어나다.

ABSTRACT

Sequential recommendation (SR) models based on Transformers have achieved remarkable successes. The self-attention mechanism of Transformers for computer vision and natural language processing suffers from the oversmoothing problem, i.e., hidden representations becoming similar to tokens. In the SR domain, we, for the first time, show that the same problem occurs. We present pioneering investigations that reveal the low-pass filtering nature of self-attention in the SR, which causes oversmoothing. To this end, we propose a novel method called $ extbf{B}$eyond $ extbf{S}$elf-$ extbf{A}$ttention for Sequential $ extbf{Rec}$ommendation (BSARec), which leverages the Fourier transform to i) inject an inductive bias by considering fine-grained sequential patterns and ii) integrate low and high-frequency information to mitigate oversmoothing. Our discovery shows significant advancements in the SR domain and is expected to bridge the gap for existing Transformer-based SR models. We test our proposed approach through extensive experiments on 6 benchmark datasets. The experimental results demonstrate that our model outperforms 7 baseline methods in terms of recommendation performance. Our code is available at https://github.com/yehjin-shin/BSARec.

연구 동기 및 목표

• Transformer 기반 순차 추천 모델에서 성능 저하의 근본 원인을 규명하는 것.
• 자기주의 주의가 순차 추천에서 과도한 평활화를 유도하는 주요 인자로 간주되는 저역통과 필터링 성질을 규명하는 것.
• 주파수 도메인 모델링을 통한 주의적 인덕티브 바이어스 도입으로 모델 일반화 능력을 향상시키는 것.
• 단기 트렌드와 같은 고주파 행동 패턴을 명시적으로 통합하여 과도한 평활화 문제를 완화하는 것.
• 순차 추천에서 장기 사용자 관심사(저주파)와 단기 선호도(고주파)를 균형 잡는 통합 프레임워크를 개발하는 것.

제안 방법

• 사용자 상호작용 시퀀스에서 주파수 도메인 표현을 추출하기 위해 푸리에 변환을 활용하여 주기성과 순차 패턴 기반의 인덕티브 바이어스를 통합한다.
• 학습 가능한 주파수 스케일러를 도입하여 고역통과 필터링을 적용함으로써 일시적인 단기 사용자 행동을 강조하면서도 장기적 관심사를 유지한다.
• 기본 자기주의 주의와 푸리에 변환된 표현을 결합하여 전반적인 종속성 모델링을 유지하면서 과도한 평활화를 감소시킨다.
• 모델이 동적 사용자 관심사를 포착하는 데 핵심적인 고주파 성분을 유지하도록 유도하기 위해 주파수 인식 손실 함수를 설계한다.
• 주파수 도메인은 인덕티브 바이어스를 포착하고, 주의 메커니즘은 장거리 의존성을 모델링하는 이중 경로 아키텍처를 설계한다.
• 사용자 상호작용 시퀀스의 스펙트럼 분해를 통해 저주파(안정적인 선호도)와 고주파(트렌딩 관심사) 성분을 분리하고 처리한다.

실험 결과

연구 질문

• RQ1 Transformer 기반 순차 추천 모델의 자기주의 주의 메커니즘이 과도한 평활화를 유도하는 저역통과 필터링 성질을 보이는가?
• RQ2 푸리에 변환을 통한 주의적 인덕티브 바이어스 도입이 모델 일반화 능력과 추천 정확도 향상에 기여하는가?
• RQ3 주파수 성분의 고역통과 필터링이 순차 추천에서 과도한 평활화 문제를 어느 정도 완화할 수 있는가?
• RQ4 저주파 및 고주파 정보의 통합이 모델의 장기적 및 단기적 사용자 선호도를 포착하는 능력에 어떤 영향을 미치는가?
• RQ5 제안된 BSARec 프레임워크는 다양한 순차 추천 벤치마크에서 기존 자기주의 주의 기반 모델보다 더 효과적인가?

주요 결과

• Transformer 기반 SR 모델의 자기주의 주의 메커니즘이 저역통과 필터링 성질을 보이며, 이로 인해 은닉 표현이 과도하게 평활화되고 세밀한 순차 패턴을 잃는다.
• 제안된 BSARec 모델은 6개의 벤치마크 데이터셋에서 최신 기준 모델 7개를 모두 능가하는 최고 성능을 기록한다.
• 주파수 스케일러는 단기 트렌드와 같은 고주파 행동 패턴을 효과적으로 포착하여 사용자 관심사 변화에 대한 모델의 민감도를 향상시킨다.
• 푸리에 기반 인덕티브 바이어스 통합은 장기적 선호도와 일시적 사용자 행동을 모두 유지함으로써 모델 일반화 능력을 향상시킨다.
• 제거 실험 결과, 주의적 인덕티브 바이어스와 고역통과 필터링 구성 요소가 성능 향상에 필수적임을 확인하였으며, 각각이 최종 성능에 크게 기여한다.
• Amazon-Beauty, ML-1M 등 다양한 데이터셋에서 모델의 강건성을 입증하였으며, 특정 도메인을 초월한 일반화 능력을 확인하였다.