[논문 리뷰] Enhancing User Intent Capture in Session-Based Recommendation with Attribute Patterns

Xin Liu, Zheng Li외 6명|arXiv (Cornell University)|2023. 12. 23.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 사용자 의도를 메모리로 활용하는 빈번한 단순한 속성 패턴을 통합한 FAPAT(Frequent Attribute Pattern Augmented Transformer)를 제안한다. FAPAT은 게이트형 어텐션과 트랜스포머 블록을 통해 세션 시퀀스와 속성 패턴을 융합함으로써 다음 아이템 예측 및 의도 이해 능력을 향상시킨다. 공개 및 산업계 기준 데이터셋에서 Hits, NDCG, MRR 평균 4.5% 향상을 달성한다.

ABSTRACT

The goal of session-based recommendation in E-commerce is to predict the next item that an anonymous user will purchase based on the browsing and purchase history. However, constructing global or local transition graphs to supplement session data can lead to noisy correlations and user intent vanishing. In this work, we propose the Frequent Attribute Pattern Augmented Transformer (FAPAT) that characterizes user intents by building attribute transition graphs and matching attribute patterns. Specifically, the frequent and compact attribute patterns are served as memory to augment session representations, followed by a gate and a transformer block to fuse the whole session information. Through extensive experiments on two public benchmarks and 100 million industrial data in three domains, we demonstrate that FAPAT consistently outperforms state-of-the-art methods by an average of 4.5% across various evaluation metrics (Hits, NDCG, MRR). Besides evaluating the next-item prediction, we estimate the models' capabilities to capture user intents via predicting items' attributes and period-item recommendations.

연구 동기 및 목표

• 기존 세션 기반 추천 모델이 짧거나 노이즈가 많은 세션에서 사용자 의도를 포착하는 데 한계가 있음을 해결하기 위해.
• 전역 전이 그래프를 빈번하고 단순한 속성 패턴으로 대체하여 노이즈와 과도한 스무딩을 줄이기 위해.
• 속성 패턴을 메모리로 통합하여 사용자 의도의 변화를 유지함으로써 시간적 모델링을 향상시키기 위해.
• 속성 추정 및 기간-아이템 추천과 같은 의도 기반 작업을 통해 모델의 강인성과 의도 이해 능력을 향상시키기 위해.
• 패턴 기반 증강 기법이 실제 산업 환경에서 전역 그래프 학습 및 사전학습 기법보다 우수함을 입증하기 위해.

제안 방법

• 색상 또는 브랜드 순서와 같은 빈번한 속성 패턴은 그래프 패턴 마이닝을 통해 세션 데이터에서 추출되어 고밀도의 하이퍼엣지로 구성된다.
• 자카르 유사도를 사용해 가장 관련성이 높은 속성 패턴을 순위 매기고 추출함으로써 그래프의 밀도와 계산 비용을 감소시킨다.
• 게이트 메커니즘과 다중헤드 그래프 어텐션을 통해 동일한 임bedding 공간 내에서 세션 시퀀스와 학습된 속성 패턴 표현을 정렬한다.
• 상대적 위치 바이어스를 갖춘 메모리 증강 자기어텐션은 세션 수준의 동작과 패턴 수준의 신호를 융합하여 표현을 향상시킨다.
• 최종 융합 표현은 장거리 의존성을 모델링하고 시간 동적 특성을 풍부하게 하기 위해 트랜스포머 블록을 통해 처리된다.
• 모델은 백프로파게이션을 통해 엔드 투 엔드로 훈련되며, 아블레이션 연구를 통해 각 구성 요소의 기여도를 검증한다.

Figure 1 : Local session graph construction.

실험 결과

연구 질문

• RQ1 전역 그래프가 실패하는 짧고 익명적인 세션에서 빈번한 속성 패턴이 사용자 의도를 효과적으로 포착할 수 있는가?
• RQ2 세션 기반 추천에서 전역 전이 그래프 대비 패턴 기반 메모리 증강이 노이즈와 과도한 스무딩을 얼마나 줄이는가?
• RQ3 속성 패턴 모델링이 다음 아이템 예측 외에도 속성 추정 및 기간-아이템 추천과 같은 의도 기반 작업에 얼마나 기여하는가?
• RQ4 어텐션을 통한 속성 패턴과 시퀀스 모델링의 통합이 사전학습 또는 GNN 기반 방법보다 더 우수한 일반화 성능을 보이는가?
• RQ5 제안된 방법이 1억 건 이상의 상호작용을 포함하는 대규모 산업 데이터에서 뛰어난 성능을 유지할 수 있는가?

주요 결과

• FAPAT은 공개 기준 데이터셋과 세 개의 대규모 산업 데이터셋에서 Hits@10, NDCG@10, MRR@10 평균 4.5% 향상을 달성한다.
• GraphFormer 및 순수 트랜스포머와 같은 최신 기술보다 뛰어난 성능을 보이며, 특히 FAPAT의 제안된 아키텍처로 인코더를 대체할 경우 두드러진 성능 향상을 보인다.
• 속성 패턴 메모리는 과도한 스무딩을 크게 줄이고 특히 희소하거나 노이즈가 많은 데이터 환경에서 모델의 강인성을 향상시킨다.
• 속성 추정 작업에서 FAPAT은 뷰티 데이터셋에서 Hits@10 90.77%를 기록했으며, Tmall 데이터셋에서는 MRR 59.49%를 달성하여 모든 베이스라인을 압도한다.
• 기간-아이템 추천 작업에서 FAPAT은 3-, 5-, 10클릭 수준의 모든 수준에서 높은 리콜과 NDCG를 유지하여 강력한 의도 예측 능력을 입증한다.
• 아블레이션 연구를 통해 속성 패턴 증강을 제거할 경우 성능 저하가 명확히 나타나, 이 기법이 의도 모델링에서 핵심적인 역할을 한다는 점을 검증한다.

Figure 2 : A session graph enriched by multiplex attribute graphs.