[논문 리뷰] Interest-oriented Universal User Representation via Contrastive Learning

Qinghui Sun, Jie Gu외 6명|arXiv (Cornell University)|2021. 09. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 5

한 줄 요약

이 논문은 대조적 자기지도 학습과 학습 가능한 관심사 사전을 갖춘 다중 관심사 추출 모듈을 사용하여 관심사 중심의 유니버설 사용자 표현 프레임워크를 제안한다. 장기 및 단기 관심사 모델링을 위한 대조적 학습을 공동 최적화하고, 학습된 관심사를 기반으로 행동 시퀀스를 집계함으로써, 작업별 미세조정 없이도 다양한 후행 작업에서 최신 기술 성능을 달성한다.

ABSTRACT

User representation is essential for providing high-quality commercial services in industry. Universal user representation has received many interests recently, with which we can be free from the cumbersome work of training a specific model for each downstream application. In this paper, we attempt to improve universal user representation from two points of views. First, a contrastive self-supervised learning paradigm is presented to guide the representation model training. It provides a unified framework that allows for long-term or short-term interest representation learning in a data-driven manner. Moreover, a novel multi-interest extraction module is presented. The module introduces an interest dictionary to capture principal interests of the given user, and then generate his/her interest-oriented representations via behavior aggregation. Experimental results demonstrate the effectiveness and applicability of the learned user representations.

연구 동기 및 목표

• 작업에 종속되지 않는 유니버설 사용자 표현을 개발하여 다양한 후행 응용 분야로 일반화되도록 하되, 미세조정 없이도 가능하게 한다.
• 통합된 프레임워크 내에서 장기 및 단기 사용자 관심사를 모두 포착함으로써 사용자 표현 학습을 향상시키는 것.
• 일반화 능력이 떨어지고 각 새로운 응용 분야에 대해 비용이 많이 드는 재학습이 필요한 작업별 특화 모델의 한계를 해결하는 것.
• 사용자 관심사의 다양성을 명시적으로 모델링할 수 있도록 학습 가능한 관심사 사전과 행동 집합 메커니즘을 도입하는 것.

제안 방법

• 긍정 쌍은 동일한 사용자에 대한 서로 다른 시간대의 사용자 표현이며, 음성 쌍은 미니배치 내 다른 사용자들 간의 표현이다.
• 모델은 잠재 공간에서 대조 손실를 최소화함으로써 사용자 행동 패턴을 구분하도록 학습하며, 입력 시간 간격을 변화시켜 장기 및 단기 관심사를 함께 학습할 수 있도록 한다.
• 사용자 행동에 대해 가장 관련성이 높은 관심사를 식별하기 위해 관심사 사전을 도입하여 주요 사용자 관심사를 명시적으로 모델링한다.
• 다중 관심사 추출 모듈은 할당된 관심사 기반으로 행동을 집계하여 각 사용자당 다수의 관심사 중심 표현을 생성한다.
• 훈련을 안정화하고 관심사 사전의 파라미터 업데이트를 적응적으로 조정하기 위해 정규화 손실를 적용한다.
• 텍스트 및 구조화된 데이터(예: 아이템 ID) 모두와 호환 가능하여 다양한 사용자 행동 모odalities의 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대조적 자기지도 학습이 통합된 사용자 표현 프레임워크 내에서 장기 및 단기 사용자 관심사를 효과적으로 포착할 수 있는가?
• RQ2 학습 가능한 관심사 사전을 통합함으로써 기존 방법에 비해 다양한 사용자 관심사를 얼마나 향상시킬 수 있는가?
• RQ3 제안된 방법이 미세조정 없이 다양한 후행 작업으로 얼마나 잘 일반화되는가?
• RQ4 관심사 수(K) 및 사전 크기(M)와 같은 하이퍼파라미터가 실세계 데이터셋에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법인 Ours-ID-ICL는 평가된 모든 작업에서 최고 성능을 기록하였으며, 동적 루팅을 사용한 변형(Ours-Caps-ICL)과 표준 대조적 학습을 사용한 변형(Ours-ID-CL)을 모두 앞섰다.
• 아마존 데이터셋에서 텍스트 기반 및 ID 기반 표현을 결합함으로써 AUC가 1% 향상되어 구조화된 데이터에서의 효과성을 입증하였다.
• 산업계 데이터셋에서는 최적의 설정이 K=5, M=100이었고, 아마존 데이터셋에서는 K=2, M=20가 최고 성능을 냈으며, 이는 하이퍼파라미터의 데이터셋에 따른 민감성을 시사한다.
• 최적점 이상으로 K를 증가시키면 표현의 중복성과 노이즈가 증가하여 성능이 악화되었으며, 이는 제어된 관심사 모델링의 중요성을 강조한다.
• 제거 실험을 통해 관심사 사전과 관심사 중심의 대조적 학습이 성능 향상에 일관되고 안정적으로 기여한다는 것이 확인되었다.
• 기존 방법이 텍스트 모odalities에 국한되는 것과 달리, 모델은 구조화된 데이터(예: 카테고리 및 아이템 ID)로도 잘 일반화된다.