[논문 리뷰] Exploiting Behavioral Consistence for Universal User Representation

Jie Gu, Feng Wang외 5명|arXiv (Cornell University)|2020. 12. 11.

Recommender Systems and Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 사용자 상호작용 간 행동 일관성을 활용하여 보편적인 사용자 표현을 학습하는 자기지도 학습 프레임워크인 Self-supervised User Modeling Network (SUMN)을 제안한다. 행동 일관성 손실을 도입하여 잠재적 사용자 요인을 유지하고, 표현 능력을 향상시키기 위해 다단계 집합 레이어를 도입하여 선수 작업인 선호도 예측 및 사용자 프로파일링에서 사전 테스트 없이도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

User modeling is critical for developing personalized services in industry. A common way for user modeling is to learn user representations that can be distinguished by their interests or preferences. In this work, we focus on developing universal user representation model. The obtained universal representations are expected to contain rich information, and be applicable to various downstream applications without further modifications (e.g., user preference prediction and user profiling). Accordingly, we can be free from the heavy work of training task-specific models for every downstream task as in previous works. In specific, we propose Self-supervised User Modeling Network (SUMN) to encode behavior data into the universal representation. It includes two key components. The first one is a new learning objective, which guides the model to fully identify and preserve valuable user information under a self-supervised learning framework. The other one is a multi-hop aggregation layer, which benefits the model capacity in aggregating diverse behaviors. Extensive experiments on benchmark datasets show that our approach can outperform state-of-the-art unsupervised representation methods, and even compete with supervised ones.

연구 동기 및 목표

• 사용자 작업에 특화된 재학습 없이도 다양한 후행 작업에 일반화 가능한 보편적 사용자 표현 모델을 개발하는 것.
• 사용자 작업에 특화된 모델의 일반화 능력 부족과 높은 자원 소모 문제를 해결하는 것.
• 장기적인 사용자 행동 일관성을 포착할 수 있는 자기지도 학습 목표를 설계하는 것.
• 향상된 집합 방법을 통해 다양한 비일관된 사용자 행동에 대한 표현 품질을 향상시키는 것.
• 선호도 예측 및 사용자 프로파일링에 적용 가능한 이식 가능하고 정보적인 사용자 임bedding을 제공하는 것.

제안 방법

• 입력 행동 시퀀스에서 목표 행동 빈도를 예측하는 새로운 행동 일관성 손실을 제안하여, 모델이 안정적인 사용자 요인을 학습하도록 유도한다.
• 공유 파라미터를 가진 주의 메커니즘을 사용해 다단계 집합 레이어를 도입하여 다중 스텝에 걸쳐 사용자 표현을 반복적으로 개선한다.
• 입력 행동 시퀀스와 목표 행동 시퀀스를 모두 처리하는 이중 브랜치 입력 구조를 도입하여, 둘 다 공통된 보편적 표현 공간에 인코딩한다.
• 대규모 비라벨 사용자 로그에서 자기지도 사전 훈련을 수행하여 표현 학습 시 라벨이 필요 없도록 한다.
• 다단계 집합 설계의 효과를 평가하기 위해 평균 풀링과 최대 풀링을 아블레이션 기반으로 사용한다.
• 학습된 표현의 시각화를 위해 PCA를 활용하여 사용자 선호도 기반 군집화가 이루어지는지 확인한다.

실험 결과

연구 질문

• RQ1 행동 일관성에 기반한 자기지도 학습 목표가 보편적 사용자 표현 학습에 기여하는가?
• RQ2 다단계 주의 집합 방식이 다양한 사용자 행동을 요약하는 데 있어 단순 풀링 방식보다 우월한가?
• RQ3 라벨이 없는 방식으로 학습된 보편적 표현이 선호도 예측과 같은 후행 작업에 얼마나 일반화되는가?
• RQ4 명시적 시퀀스 모델링이 없는 것이 성능에 영향을 주는가? 그리고 트랜스포머를 도입하면 성능 향상이 이루어지는가?
• RQ5 선호도 라벨에 접근할 수 없는 상황에서도 학습된 표현이 잠재적 선호도 기반으로 사용자를 얼마나 잘 군집화하는가?

주요 결과

• SUMN는 산업 데이터셋에서 사용자 연령 예측에 64.47%의 정확도, 아기 연령 예측에 72.17%의 정확도를 기록하여, 지도 학습 방법을 포함한 모든 베이스라인을 능가한다.
• 다단계 집합 레이어는 평균 풀링 및 최대 풀링보다 성능 향상이 뚜렷하며, 행동 다양성이 높은 사용자에게서 특히 두드러진다.
• 행동 일관성 손실이 포함된 SUMN는 SUMN-AE 및 SUMN-ID보다 일관되게 뛰어난 성능을 보이며, 제안된 목표의 효과성을 입증한다.
• 다단계 레이어를 트랜스포머로 대체했을 때 성능 향상이 1% 미만으로 나타나, 장기적 사용자 요인에 대해 명시적 시퀀스 모델링의 이점이 제한적임을 시사한다.
• PCA를 통한 시각화 결과, 동일한 카테고리 선호도를 가진 사용자들이 더 가까이 임베딩되어 있음을 확인하여, 모델이 의미적으로 유의미한 표현을 학습하고 있음을 확인한다.
• 라벨이 없는 데이터에서 사전 훈련된 SUMN는 지도 학습 방법과 경쟁 가능한 성능을 보이며, 자기지도 보편적 사용자 모델링의 실현 가능성을 입증한다.