[논문 리뷰] Breaking Feedback Loops in Recommender Systems with Causal Inference

Karl Krauth, Zhaoran Wang외 1명|arXiv (Cornell University)|2022. 07. 04.

Advanced Bandit Algorithms Research인용 수 11

한 줄 요약

이 논문은 추천 시스템의 피드백 루프를 끊는 데 기여하는 원인 인ference 기반 방법인 CAFL(Causal Adjustment for Feedback Loops)을 제안한다. CAFL은 추천 시스템 자체의 예측을 보정하여 간섭 분포를 추정함으로써 피드백 루프를 해결한다. CAFL은 추천 품질을 향상시키고 동질화를 감소시키며, 이전의 보정 방법들보다 시뮬레이션에서 상대적으로 5.2%의 MSE 향상을 보였다.

ABSTRACT

Recommender systems play a key role in shaping modern web ecosystems. These systems alternate between (1) making recommendations (2) collecting user responses to these recommendations, and (3) retraining the recommendation algorithm based on this feedback. During this process the recommender system influences the user behavioral data that is subsequently used to update it, thus creating a feedback loop. Recent work has shown that feedback loops may compromise recommendation quality and homogenize user behavior, raising ethical and performance concerns when deploying recommender systems. To address these issues, we propose the Causal Adjustment for Feedback Loops (CAFL), an algorithm that provably breaks feedback loops using causal inference and can be applied to any recommendation algorithm that optimizes a training loss. Our main observation is that a recommender system does not suffer from feedback loops if it reasons about causal quantities, namely the intervention distributions of recommendations on user ratings. Moreover, we can calculate this intervention distribution from observational data by adjusting for the recommender system's predictions of user preferences. Using simulated environments, we demonstrate that CAFL improves recommendation quality when compared to prior correction methods.

연구 동기 및 목표

• 피드백 루프가 추천 시스템에서 사용자 행동 데이터를 편향시키고 추천 품질을 떨어뜨리는 데 기인하는 부정적 영향을 해결하기 위해.
• 다중 시간 단계에 걸쳐 추천 시스템의 동적 운영을 구조적 원인 모델로 공식화하기 위해.
• 기존의 손실 최소화 추천 알고리즘들이 무작위 추천이나 성능 희생 없이 피드백 루프를 끊을 수 있도록 하는 방법을 개발하기 위해.
• 원인 추론—특히 간섭 분포—가 피드백 루프로 인해 유발된 데이터 편향을 보정할 수 있음을 입증하기 위해.
• CAFL이 일반적인 원인 가정 위반, 예를 들어 정규성 가정 위반(예: 양성성) 상황에서도 강건하게 작동함을 보여주어, 일회성 아이템 추천과 같은 실제 제약 조건에서도 적용 가능함을 보여주기 위해.

제안 방법

• CAFL은 추천 시스템 자체의 사용자 선호도 예측을 보정하여 간섭 분포를 추정함으로써 피드백 루프 편향의 주요 원인을 다룬다.
• 이 방법은 사용자 및 아이템 잠재 벡터를 모델링하기 위해 재매개변수화된 베타 분포를 사용하여 사용자-아이템 상호작용을 현실적으로 시뮬레이션한다.
• 모든 손실 최소화 추천 알고리즘의 손실 함수에 원인 보정을 적용하여, 모델 아키텍처를 변경하지 않고도 학습 가중치를 수정한다.
• 알고리즘은 추천 시스템의 예측된 선호도를 보정함으로써 관찰된 데이터로부터의 식별 가능성을 간섭 분포로 식별한다.
• 시간 순서가 지켜진 시뮬레이션 프레임워크를 활용하여 추천이 사용자 상호작용에 영향을 주고, 그 결과로 모델이 업데이트되며 피드백 루프가 생성된다.
• CAFL은 추천 시스템의 예측 비율을 추정한 바탕으로 손실 함수 내 학습 샘플의 재가중치를 부여함으로써 구현되며, 이는 추천이 관찰된 행동에 미치는 원인적 영향과의 분리에 효과적이다.

실험 결과

연구 질문

• RQ1 원인 인ference를 사용하여 추천 시스템의 피드백 루프를 끊을 수 있는가, 이로 인해 추천 품질이 떨어지지 않는가?
• RQ2 추천 시스템의 자체 예측을 보정함으로써 피드백 루프 존재 상황에서 간섭 분포를 식별할 수 있는가?
• RQ3 CAFL은 동적 추천 환경에서 편향을 줄이고 예측 성능을 향상시키는 데 있어 기존의 보정 방법들을 능가하는가?
• RQ4 CAFL은 사용자 행동에서 발생하는 피드백 루프로 인한 동질화 효과를 어느 정도 완화하는가?
• RQ5 CAFL은 실제 추천 제약 조건에서 표준 원인 가정 위반(예: 양성성) 상황에서도 효과적으로 기능하는가?

주요 결과

• CAFL은 예측 성능을 크게 향상시켜 평균 제곱 오차(MSE)를 1.818 ± 0.019로 달성하였으며, 이는 이전에 가장 우수한 성능을 보인 Pan et al. (2021)의 1.896 ± 0.042보다 상대적으로 5.2% 향상된 결과이다.
• CAFL은 평균 절대 오차(MAE)를 1.015 ± 0.005로 줄여, 인기 기반 재가중치 및 포isson 요인분석을 포함한 모든 이전 보정 방법을 능가한다.
• CAFL과 Pan 간의 MSE 향상 폭은 Pan과 포isson 요인분석 간의 향상 폭보다 더 크며, 이는 CAFL이 상당한 성능 향상을 이룬다는 것을 시사한다.
• CAFL은 추천의 동질화를 효과적으로 줄이며, 피드백 영향을 격리하고 인기 또는 유사한 아이템에 과도하게 의존하는 것을 방지함을 시사한다.
• CAFL는 사용자당 한 번만 추천 가능한 경우와 같이 표준 양성성 가정 위반이 발생하는 상황에서도 강력한 성능 유지를 보이며, 그 강건성을 입증한다.
• 결과는 모델의 인덕티브 바이어스와 데이터 희소성이 피드백 루프 자체보다 동질화에 더 큰 영향을 미칠 수 있음을 시사하며, 동적 시스템 내 편향 원인의 복잡성을 강조한다.