[논문 리뷰] Learning Vector-Quantized Item Representation for Transferable Sequential Recommenders

Yupeng Hou, Zhankui He외 2명|arXiv (Cornell University)|2022. 10. 22.

Recommender Systems and Techniques인용 수 6

한 줄 요약

이 논문은 두 단계 프로세스를 도입함으로써 이동 가능한 순차 추천 표현을 학습하는 데 새로운 방법인 VQ-Rec를 제안한다: 항목 텍스트를 이산 벡터 양자화 코드로 매핑한 후, 이러한 코드를 사용해 학습 가능한 임베딩을 검색한다. 텍스트 인코딩과 최종 항목 표현 간의 분리로 인해 VQ-Rec는 텍스트 의미에 대한 과도한 의존을 줄이고 도메인 갭 영향을 완화하며, 여섯 개의 크로스도메인 및 크로스플랫폼 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recently, the generality of natural language text has been leveraged to develop transferable recommender systems. The basic idea is to employ pre-trained language models~(PLM) to encode item text into item representations. Despite the promising transferability, the binding between item text and item representations might be too tight, leading to potential problems such as over-emphasizing the effect of text features and exaggerating the negative impact of domain gap. To address this issue, this paper proposes VQ-Rec, a novel approach to learning Vector-Quantized item representations for transferable sequential Recommenders. The main novelty of our approach lies in the new item representation scheme: it first maps item text into a vector of discrete indices (called item code), and then employs these indices to lookup the code embedding table for deriving item representations. Such a scheme can be denoted as "text $\Longrightarrow$ code $\Longrightarrow$ representation". Based on this representation scheme, we further propose an enhanced contrastive pre-training approach, using semi-synthetic and mixed-domain code representations as hard negatives. Furthermore, we design a new cross-domain fine-tuning method based on a differentiable permutation-based network. Extensive experiments conducted on six public benchmarks demonstrate the effectiveness of the proposed approach, in both cross-domain and cross-platform settings. Code and pre-trained model are available at: https://github.com/RUCAIBox/VQ-Rec.

연구 동기 및 목표

• 이동 가능한 순차 추천에서 사전 훈련된 언어 모델(PLM)의 텍스트 인코딩과 항목 표현 간의 강한 유대를 해결하기 위해, 이는 텍스트 특징에 대한 과도한 강조와 도메인 갭의 악화를 유발할 수 있다.
• 텍스트 표현과 항목 임베딩 간의 분리를 통해 크로스도메인 및 크로스플랫폼 추천에서의 이동성을 향상시키기 위해.
• 도메인 이동에 대한 강건성을 향상시키면서도 순차적 행동 모델링 능력을 유지하는 표현 체계를 개발하기 위해.
• 혼합 도메인 및 반합성 코드 표현을 하드 음성으로 사용하는 대비적 사전 훈련 전략을 설계하기 위해.
• 코드-임베딩 정렬을 통해 효과적인 크로스도메인 미세조정을 가능하게 하는 가역적 순열 기반 네트워크를 제안하기 위해.

제안 방법

• 텍스트 → 이산 코드 → 임베딩 룩업의 두 단계 항목 표현 체계를 도입하며, 코드는 벡터 양자화를 통해 학습된다.
• PLM로 인코딩된 항목 텍스트를 이산 인덱스(코드)로 매핑하기 위해 코드북 기반의 벡터 양자화 모듈을 사용하며, 이로써 의미론적 표현과 표현 간의 분리를 달성한다.
• 혼합 도메인 및 반합성 코드 표현으로 구성된 하드 음성을 사용해 일반화 능력을 향상시키기 위해 대비적 사전 훈련 목표를 적용한다.
• 미세조정 중에 도메인별 코드-임베딩 정렬을 학습하기 위해 가역적 순열 기반 네트워크를 제안하며, 이는 새로운 도메인에 대한 효과적인 적응을 가능하게 한다.
• 사전 훈련된 언어 모델(PLMs)을 사용해 항목 텍스트를 인코딩한 후, 각 항목에 대해 이산 인덱스를 생성하기 위해 학습 가능한 코드북을 활용한다.
• 각 코드 인덱스가 밀집된 임베딩 벡터로 매핑되는 학습 가능한 임베딩 테이블을 적용하여 최종 항목 표현을 형성한다.

Figure 1. The overall framework of the proposed vector-quantized code-based transferable sequential recommender VQ-Rec.

실험 결과

연구 질문

• RQ1 이산 코드를 통한 텍스트 인코딩과 항목 표현 간의 분리가 순차 추천에서 이동성 향상에 기여하는가?
• RQ2 제안된 VQ-Rec 방법은 다중도메인 사전 훈련에서 도메인 갭의 부정적 영향을 어떻게 완화하는가?
• RQ3 혼합 도메인 및 반합성 코드 표현을 하드 음성으로 사용할 경우 모델 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 가역적 순열 기반 네트워크는 미세조정 중에 도메인 간 코드 임베딩을 효과적으로 정렬할 수 있는가?
• RQ5 두 단계 표현 체계(텍스트 → 코드 → 표현)가 크로스도메인 및 크로스플랫폼 설정에서 직접 PLM 기반 항목 표현보다 우수한가?

주요 결과

• VQ-Rec는 크로스도메인 및 크로스플랫폼 순차 추천 설정에서 여섯 개의 공개 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 이 방법은 텍스트 의미에 대한 과도한 의존을 크게 줄이며, 최종 표현에서 텍스트와의 분리를 통해 모델 일반화 능력을 향상시킨다.
• 혼합 도메인 및 반합성 코드 표현을 하드 음성으로 사용함으로써 대비적 사전 훈련이 향상되어 도메인 이동에 대한 강건성이 향상된다.
• 가역적 순열 기반의 미세조정 메커니즘은 도메인 간 코드 임베딩 정렬을 효과적으로 가능하게 하여 적응 속도와 정확도를 향상시킨다.
• 실증 결과는 제로샷 및 퍼샷 전이 시나리오에서 모두 강력한 베이스라인(PLM 기반 및 코드 기반 방법)보다 일관된 성능 향상을 보여준다.
• 절단 실험 결과는 두 단계 표현 체계와 제안된 사전 훈련/미세조정 구성 요소가 성능 향상에 필수적임을 확인한다.

Figure 2. Performance comparison w.r.t. increasing training data on “Office” and “Online Retail” datasets. The x-axis coordinates denote the proportion of original training data that the recommenders are trained on.