[논문 리뷰] Mitigating Hidden Confounding Effects for Causal Recommendation

Xinyuan Zhu, Yang Zhang외 4명|arXiv (Cornell University)|2022. 05. 16.

Recommender Systems and Techniques인용 수 8

한 줄 요약

이 논문은 앞문 조정(front-door adjustment)를 활용하여 관측되지 않은 중재자(confounders)를 분해함으로써 인과적 추천에서 발생하는 미관측된 혼란 요인 편향을 완화하는 숨겨진 혼란 요인 제거(Hidden Confounder Removal, HCR) 프레임워크를 제안한다. 실증 결과는 HCR가 세 개의 실세계 데이터셋에서 추천 정확도를 향상시키며, 특히 활동성이 낮은 사용자에게서 두드러진 성능 향상을 보임을 보여준다.

ABSTRACT

Recommender systems suffer from confounding biases when there exist confounders affecting both item features and user feedback (e.g., like or not). Existing causal recommendation methods typically assume confounders are fully observed and measured, forgoing the possible existence of hidden confounders in real applications. For instance, product quality is a confounder since affecting both item prices and user ratings, but is hidden for the third-party e-commerce platform due to the difficulty of large-scale quality inspection; ignoring it could result in the bias effect of over-recommending high-price items. This work analyzes and addresses the problem from a causal perspective. The key lies in modeling the causal effect of item features on a user's feedback. To mitigate hidden confounding effects, it is compulsory but challenging to estimate the causal effect without measuring the confounder. Towards this goal, we propose a Hidden Confounder Removal (HCR) framework that leverages front-door adjustment to decompose the causal effect into two partial effects, according to the mediators between item features and user feedback. The partial effects are independent from the hidden confounder and identifiable. During training, HCR performs multi-task learning to infer the partial effects from historical interactions. We instantiate HCR for two scenarios and conduct experiments on three real-world datasets. Empirical results show that the HCR framework provides more accurate recommendations, especially for less-active users. We will release the code once accepted.

연구 동기 및 목표

• 관측되지 않은 혼란 요인(예: 제품 품질 또는 뉴스 이벤트)이 항목 특성과 사용자 피드백에 모두 영향을 주지만, 이를 직접 측정할 수 없는 추천 시스템에서의 숨겨진 혼란 요인 문제를 해결하기 위해.
• 기존의 뒷문 조정 또는 역확률가중법 기반 방법의 한계를 극복하기 위해, 숨겨진 혼란 요인을 직접 측정할 필요가 없는 일반적인 목적의 인과적 추천 프레임워크를 개발하기 위해.
• 관측되지 않은 혼란 요인이 존재하는 상황에서도, 항목 특성 $ I $ 가 사용자 피드백 $ L $ 에 미치는 영향을 정의하는 조작 분포 $ P(L|U, do(I)) $ 의 정확한 추정을 가능하게 하기 위해.
• 숨겨진 혼란 요인에 의해 유도되는 인과적 연관성(예: 측정되지 않은 품질로 인해 고가의 항목을 과도하게 추천하는 것)을 제거함으로써 추천의 공정성과 내성 강도를 향상시키기 위해.

제안 방법

• HCR 프레임워크는 항목 특성 $ I $ 가 사용자 피드백 $ L $ 에 미치는 총 인과 효과를 두 개의 관측 가능한 부분 효과로 분해하기 위해 앞문 조정을 적용한다: $ P(M|U, do(I)) $ (항목 특성 $ I $ 가 중재자 $ M $ 에 미치는 영향)와 $ P(L|U, do(M)) $ (중재자 $ M $ 이 $ L $ 에 영향을 주는 영향).
• 중재자 $ M $ (예: 사용자-항목 상호작용 신호(예: 클릭) 또는 중간 피드백)는 항목 특성과 사용자 피드백 사이의 인과적 다리를 형성한다.
• 학습 중 다중 작업 학습을 수행하여 관측된 데이터에서 두 부분 효과를 동시에 추정하며, 숨겨진 혼란 요인 $ V $ 를 관측하지 않더라도 조건부 확률만으로도 추정 가능한 조건을 활용한다.
• HCR는 모델에 종속되지 않으며, 전자상거래 및 마이크로 비디오 추천에 대해 MMGCN 모델에 적용하여 다양한 추천 시나리오에 대한 적응성을 입증한다.
• 숨겨진 혼란 요인 $ V $ 를 명시적으로 모델링하지 않고, 중재를 통해 뒷문 경로 $ I \rightarrow V \rightarrow L $ 를 차단함으로써 앞문 기준을 활용한다.
• 이 프레임워크는 두 부분 효과가 모두 숨겨진 혼란 요인과 독립적이며, 따라서 관측 데이터만으로도 추정 가능하다는 점을 보장한다.

실험 결과

연구 질문

• RQ1 혼란 요인이 관측되지 않으며 직접 측정할 수 없는 상황에서, 항목 특성이 사용자 피드백에 미치는 인과 효과를 추정할 수 있는가?
• RQ2 숨겨진 혼란 요인이 존재할 경우, 뒷문 조정 또는 IPW에 비해 앞문 조정이 추천 시스템에서 타당한 대안이 될 수 있는가?
• RQ3 제안된 HCR 프레임워크는 숨겨진 혼란 요인이 존재하는 상황에서 추천 정확도와 공정성을 향상시킬 수 있는가, 특히 활동성이 낮은 사용자에게서 두드러진가?
• RQ4 항목 특성과 사용자 피드백 사이의 중재자가 숨겨진 혼란 요인을 관측하지 않더라도 인과 효과의 식별을 어떻게 가능하게 하는가?
• RQ5 HCR는 측정되지 않은 제품 품질로 인해 고가의 항목을 과도하게 추천하는 등의 허구적 연관성을 어느 정도 완화할 수 있는가?

주요 결과

• HCR는 앞문 조정을 활용하여 인과적 추천에서 숨겨진 혼란 요인 편향을 성공적으로 완화하며, 혼란 요인을 관측하지 않더라도 $ P(L|U, do(I)) $ 를 추정할 수 있도록 한다.
• 세 개의 실세계 데이터셋에서의 실증 평가 결과, HCR는 추천 정확도를 향상시키며, 특히 활동성이 낮은 사용자에게서 두드러진 성능 향상을 보였다.
• 뒷문 조정 또는 IPW에 의존하는 기존의 인과적 추천 방법은 혼란 요인이 관측되지 않을 경우 실패하는 반면, HCR는 이를 초월하여 우수한 성능을 보였다.
• HCR의 다중 작업 학습 접근법은 직접 혼란 요인 측정 없이도 역행성 상호작용 데이터에서 두 부분 효과 $ P(M|U, do(I)) $ 와 $ P(L|U, do(M)) $ 를 효과적으로 학습할 수 있었다.
• 이 방법은 전자상거래 및 마이크로 비디오 추천을 포함한 다양한 추천 시나리오에서 뛰어난 일반화 능력을 보이며, 특정 모델 아키텍처를 초월한 안정성을 입증했다.
• 결과는 숨겨진 혼란 요인 효과를 제거함으로써 더 공정하고 신뢰할 수 있는 추천이 가능하며, 측정되지 않은 품질로 인해 유도된 허구적 연관성(예: 고가의 항목 과도 추천)을 감소시킬 수 있음을 검증했다.