[논문 리뷰] ConvFormer: Revisiting Transformer for Sequential User Modeling

Hao Wang, Jianxun Lian외 6명|arXiv (Cornell University)|2023. 08. 05.

Recommender Systems and TechniquesComputer Science인용 수 3

한 줄 요약

ConvFormer는 순차적 사용자 모델링을 위한 트랜스포머 아키텍처에 단순하면서도 효과적인 수정을 제안하며, 순서 민감도, 수용장역, 모델 효율성을 향상시키기 위해 자기주의 주의 메커니즘을 깊이 분리 컨볼루션 레이어로 대체한다. 네 개의 공개 데이터셋에서 최신 기술 성능을 달성하며 경량 설계와 장수열을 위한 FFT 기반 가속 기법을 함께 제공한다.

ABSTRACT

Sequential user modeling, a critical task in personalized recommender systems, focuses on predicting the next item a user would prefer, requiring a deep understanding of user behavior sequences. Despite the remarkable success of Transformer-based models across various domains, their full potential in comprehending user behavior remains untapped. In this paper, we re-examine Transformer-like architectures aiming to advance state-of-the-art performance. We start by revisiting the core building blocks of Transformer-based methods, analyzing the effectiveness of the item-to-item mechanism within the context of sequential user modeling. After conducting a thorough experimental analysis, we identify three essential criteria for devising efficient sequential user models, which we hope will serve as practical guidelines to inspire and shape future designs. Following this, we introduce ConvFormer, a simple but powerful modification to the Transformer architecture that meets these criteria, yielding state-of-the-art results. Additionally, we present an acceleration technique to minimize the complexity associated with processing extremely long sequences. Experiments on four public datasets showcase ConvFormer's superiority and confirm the validity of our proposed criteria.

연구 동기 및 목표

• 순차적 사용자 모델링에서 자기주의 주의 토큰 믹서의 효과성을 재평가하며, 특히 아이템 순서에 대한 민감도 부족 문제를 중심으로 분석한다.
• 효율적인 토큰 믹서를 위한 핵심 설계 기준을 규명한다: 순서 민감도, 넓은 수용장역, 경량 아키텍처.
• 이러한 기준을 충족시키는 깊이 분리 컨볼루션 토큰 믹서를 활용한 수정된 트랜스포머인 ConvFormer을 제안한다.
• 장수열에서의 계산적 과제를 해결하기 위해 FFT 기반 가속 기법을 도입한 ConvFormer-F라는 변형을 제안한다.
• 다양한 벤치마크에서 광범위한 실험과 분해 분석을 통해 제안된 기준을 검증한다.

제안 방법

• 순서 민감도 향상과 수용장역 확장 목적을 위해 트랜스포머의 자기주의 주의 메커니즘을 깊이 분리 컨볼루션(DWC) 레이어로 대체한다.
• 파rameter 폭발 없이 장거리 의존성을 포괄하기 위해 DWC 레이어에 전체 수용장역(Full Receptive Field, FRF)을 적용한다.
• 장수열에서의 추론을 가속하기 위해 푸리에 변환을 활용한 효율적 근사 기법을 도입한 ConvFormer-F를 제안한다.
• 경량화 및 확장 가능한 설계와의 호환성을 확보하기 위해 메타-포머 아키텍처를 채택한다.
• 시퀀스 구조 유지 및 모델 안정성 확보를 위해 잔차 연결과 위치 임베딩을 유지한다.
• 최종 사용자 표현을 기반으로 단순한 도트 곱 매칭 함수를 적용해 다음 아이템 예측을 수행한다.

실험 결과

연구 질문

• RQ1 왜 표준 자기주의 주의 토큰 믹서는 확장성은 높지만 순차적 사용자 모델링에서 성능이 열등한가?
• RQ2 고성능 순차적 사용자 모델링을 가능하게 하는 핵심 아키텍처적 특성은 무엇인가?
• RQ3 자기주의 주의의 더 단순하고 순서 민감도가 높은 대체 기법이 이 작업에서 복잡한 주의 메커니즘을 능가할 수 있는가?
• RQ4 장수열 사용자 행동 데이터에서 계산 비용을 줄이면서도 높은 성능을 유지할 수 있는가?
• RQ5 제안된 설계 기준이 다양한 추천 시나리오에 일반화될 수 있는가?

주요 결과

• ConvFormer는 Beauty, Sports, Toys, Yelp의 네 개의 공개 데이터셋에서 최신 기술 성능을 달성하며, BERT4Rec, SASRec, FMLP 등의 모델을 능가한다.
• Yelp 데이터셋에서 ConvFormer는 H@10 값 0.7721을 기록하여 두 번째로 우수한 모델(0.7597)을 유의미하게 앞서며 p-value < 0.01을 확보한다.
• 아핀 레이어를 토큰 믹서로 사용한 L-Mixer 변형 역시 강력한 성능을 기록하여, 제안된 기준이 최소한의 복잡성에서도 유효함을 입증한다.
• FFT 기반 가속 기법을 적용한 ConvFormer-F는 정확도 손실를 최소화하면서도 빠른 속도 향상을 달성해 장수열에 적합하다.
• 분해 분석 결과 순서 민감도와 넓은 수용장역이 핵심 요소임을 확인하였고, 표준 아이템 간 주의 메커니즘은 성능 저하를 유도할 수 있음을 규명하였다.
• 제안된 기준인 순서 민감도, 넓은 수용장역, 경량 설계는 향후 모델 설계에 효과적이고 일반화 가능한 지침으로 입증되었다.