[논문 리뷰] Learning Disentangled Representations for Recommendation

Jianxin Ma, Chang Zhou외 3명|arXiv (Cornell University)|2019. 10. 31.

Generative Adversarial Networks and Image Synthesis인용 수 100

한 줄 요약

MacridVAE를 도입하여 사용자 행동으로부터 거시적이고 미시적인 disentangled 표현을 학습하고, 추천 성능을 향상시키며 해석 가능하고 제어 가능한 표현을 제공한다.

ABSTRACT

User behavior data in recommender systems are driven by the complex interactions of many latent factors behind the users' decision making processes. The factors are highly entangled, and may range from high-level ones that govern user intentions, to low-level ones that characterize a user's preference when executing an intention. Learning representations that uncover and disentangle these latent factors can bring enhanced robustness, interpretability, and controllability. However, learning such disentangled representations from user behavior is challenging, and remains largely neglected by the existing literature. In this paper, we present the MACRo-mIcro Disentangled Variational Auto-Encoder (MacridVAE) for learning disentangled representations from user behavior. Our approach achieves macro disentanglement by inferring the high-level concepts associated with user intentions (e.g., to buy a shirt or a cellphone), while capturing the preference of a user regarding the different concepts separately. A micro-disentanglement regularizer, stemming from an information-theoretic interpretation of VAEs, then forces each dimension of the representations to independently reflect an isolated low-level factor (e.g., the size or the color of a shirt). Empirical results show that our approach can achieve substantial improvement over the state-of-the-art baselines. We further demonstrate that the learned representations are interpretable and controllable, which can potentially lead to a new paradigm for recommendation where users are given fine-grained control over targeted aspects of the recommendation lists.

연구 동기 및 목표

• 추천 시스템에서의 disentangled 표현이 강건성과 해석 가능성을 향상시키기 위한 필요성을 동기화한다.
• MACRo-mIcro Disentangled Variational Auto-Encoder (MacridVAE)을 제안하여 높은 수준의 의도와 낮은 수준의 아이템 속성을 분리한다.
• macro disentanglement를 개념 프로토타입과 카테고리 할당을 통해 개발하고, micro disentanglement를 beta-regularized KL 목적함수를 통해 달성한다.
• 학습된 표현이 해석 가능하고 추천에 대한 사용자 제어를 제공하는지 입증한다.

제안 방법

• 사용자 상호작용 x_u가 잠재 z_u와 아이템 컨셉 지시자 C에서 생성되는 생성 모델을 제안한다.
• macro disentanglement를 위해 z_u를 K개의 컨셉별 부분 z_u^(k)으로 분리하고 프로토타입 m_k를 통해 아이템을 원-핫 컨셉 벡터 c_i와 연결한다.
• mode collapse를 방지하기 위해 코사인 유사도 기반의 프로토타입 할당을 사용하는 변분 인코더 q_theta(z_u|x_u,C)를 구현한다.
• 마이크로 disentanglement를 촉진하고 차원 간 독립성을 강화하기 위해 KL 항을 강화한 beta-VAE 스타일의 목적함수를 적용한다.
• 대규모 아이템 집합에 대해 확장 가능한 디코딩을 위해 샘플링된 소프트맥스를 사용하고, g_theta^(i)(z_u^(k))가 컨셉 k 내에서 아이템 i의 가능성을 안내한다.
• 마이크로 및 매크로 요인을 정렬하기 위해 가우시안으로 가정된 prior p_theta(z_u)와 코사인 기반 디코더를 채택한다.
• 잠재 차원의 점진적 변화를 탐색하기 위한 사용자 제어 추천을 위한 빔 검색 기반 방법을 제공한다.

실험 결과

연구 질문

• RQ1 매크로 수준의 disentanglement가 컨셉별로 사용자 의도를 분리하면서 컨셉 간 선호를 보존할 수 있는가?
• RQ2 미시적 disentanglement가 차원별로 독립적인 잠재 요인을 생성하고 추천의 강건성을 향상시킬 수 있는가?
• RQ3 매크로 및 마이크로 disentanglement를 도입하면 실제 데이터 세트에서 예측 성능이 향상되는가?
• RQ4 학습된 표현이 해석 가능하고 사용자가 제어할 수 있는가?
• RQ5 코사인 기반 프로토타입 할당이 내부 곱 모델보다 모드 붕괴를 완화하는가?

주요 결과

Dataset	Method	NDCG@100	Recall@20	Recall@50
AliShop-7C	MultDAE	0.23923 (±0.00380)	0.15242 (±0.00305)	0.24892 (±0.00391)
AliShop-7C	β-MultVAE	0.23875 (±0.00379)	0.15040 (±0.00302)	0.24589 (±0.00387)
AliShop-7C	Ours	0.29148 (±0.00380)	0.18616 (±0.00317)	0.30256 (±0.00397)
ML-100k	MultDAE	0.24487 (±0.02738)	0.23794 (±0.03605)	0.32279 (±0.04070)
ML-100k	β-MultVAE	0.27484 (±0.02883)	0.24838 (±0.03294)	0.35270 (±0.03927)
ML-100k	Ours	0.28895 (±0.02739)	0.30951 (±0.03808)	0.41309 (±0.04503)
ML-1M	MultDAE	0.40453 (±0.00799)	0.34382 (±0.00961)	0.46781 (±0.01032)
ML-1M	β-MultVAE	0.40555 (±0.00809)	0.33960 (±0.00919)	0.45825 (±0.01039)
ML-1M	Ours	0.42740 (±0.00789)	0.36046 (±0.00947)	0.49039 (±0.01029)
ML-20M	MultDAE	0.41900 (±0.00209)	0.39169 (±0.00271)	0.53054 (±0.00285)
ML-20M	β-MultVAE	0.41113 (±0.00212)	0.38263 (±0.00273)	0.51975 (±0.00289)
ML-20M	Ours	0.42496 (±0.00212)	0.39649 (±0.00271)	0.52901 (±0.00284)
Netflix	MultDAE	0.37450 (±0.00095)	0.33982 (±0.00123)	0.43247 (±0.00126)
Netflix	β-MultVAE	0.36291 (±0.00094)	0.32792 (±0.00122)	0.41960 (±0.00125)
Netflix	Ours	0.37987 (±0.00096)	0.34587 (±0.00124)	0.43478 (±0.00125)

• MacridVAE는 특히 희소하고 작은 데이터 세트에서 다섯 개의 실제 데이터 세트에서 최첨단 기준선 대비 substantial한 향상을 달성한다.
• Macro disentanglement는 다양한 사용자 관심 모델링을 가능하게 하고 컨셉 내에서 정보를 공유함으로써 데이터 희소성을 완화하는 데 도움을 준다.
• Micro disentanglement 정규화는 더 독립적인 잠재 차원을 만들어 강건성과 해석 가능성을 높인다.
• 코사인 유사도를 프로토타입 할당에 사용하는 것이 모드 붕괴를 방지하고 내부 곱보다 더 의미 있는 컨셉 클러스터링을 제공한다.
• 학습된 표현은 해석 가능하며 차원이 인간이 이해할 수 있는 컨셉에 정렬되고, 사용자 제어형 추천 가능성을 제공한다.