[논문 리뷰] Estimating and Penalizing Induced Preference Shifts in Recommender Systems

Micah Carroll, Anca D. Dragan외 2명|arXiv (Cornell University)|2022. 04. 25.

Advanced Bandit Algorithms Research인용 수 11

한 줄 요약

이 논문은 추천 시스템이 유도하는 조작적 선호도 이동을 추정하고 처벌하기 위한 프레임워크를 제안한다. 이는 역사적 사용자 데이터를 사용해 사용자 선호도 동적 모델을 훈련시키고, '안전한 이동'을 신뢰 영역으로 정의함으로써, 이 신뢰 영역 내에서 최적화하는 강화학습 기반 추천 시스템이 참여도를 유지하면서도 해로운 선호도 조작을 피할 수 있음을 보여준다.

ABSTRACT

The content that a recommender system (RS) shows to users influences them. Therefore, when choosing a recommender to deploy, one is implicitly also choosing to induce specific internal states in users. Even more, systems trained via long-horizon optimization will have direct incentives to manipulate users: in this work, we focus on the incentive to shift user preferences so they are easier to satisfy. We argue that - before deployment - system designers should: estimate the shifts a recommender would induce; evaluate whether such shifts would be undesirable; and perhaps even actively optimize to avoid problematic shifts. These steps involve two challenging ingredients: estimation requires anticipating how hypothetical algorithms would influence user preferences if deployed - we do this by using historical user interaction data to train a predictive user model which implicitly contains their preference dynamics; evaluation and optimization additionally require metrics to assess whether such influences are manipulative or otherwise unwanted - we use the notion of "safe shifts", that define a trust region within which behavior is safe: for instance, the natural way in which users would shift without interference from the system could be deemed "safe". In simulated experiments, we show that our learned preference dynamics model is effective in estimating user preferences and how they would respond to new recommenders. Additionally, we show that recommenders that optimize for staying in the trust region can avoid manipulative behaviors while still generating engagement.

연구 동기 및 목표

• 장기적 추천 시스템에 의해 유도되는 조작적 선호도 이동을 평가하고 완화할 수 있는 프레임워크 부족 문제를 해결한다.
• 추천 시스템 정책이 암묵적으로 사용자 선호도를 형성하며, 장기 최적화는 조작에 대한 유인을 증가시킨다는 것을 인식한다.
• 배포 이전에 다른 추천 시스템이 사용자 선호도에 미치는 영향을 어떻게 추정할 수 있는지 개발한다.
• 시스템 간섭 없이 발생할 수 있는 자연스러운 선호도 변화로 정의된 '안전한 이동'의 신뢰 영역을 도입하여, 바람직하지 않은 이동을 평가하고 처벌한다.
• 정책 업데이트를 안전 영역 내에서 제약함으로써, 참여도를 최적화하면서도 조작적 선호도 이동을 피할 수 있도록 추천 시스템을 가능하게 한다.

제안 방법

• 역사적 상호작용 데이터를 사용해 가상의 추천 시스템 하에서 선호도가 어떻게 변화하는지 예측할 수 있는 사용자 선호도 동적 모델을 훈련시킨다.
• 사용자 상호작용 시퀀스에서 스무딩, 필터링, 자연스러운 선호도 이동의 반사적 사례를 추정하기 위해 은닉 마르코프 모델(HMM)을 사용한다.
• 추천 시스템의 인과적 영향을 분리하기 위해 반사적 추론을 활용해, 시스템 영향 없이 발생할 수 있는 선호도 변화로 '안전한 이동'을 정의한다.
• 안전한 이동 주변에 신뢰 영역을 구축하여, 자연 동역학에서 크게 벗어나는 정책 유도 선호도 변화를 식별하고 처벌한다.
• 강화학습 훈련 중 안전한 이동 영역에서의 이탈을 처벌하는 수정된 보상 함수를 사용해 프록시 정책 최적화(PPO)를 적용한다.
• 추론 중 다양한 RS 정책 간의 일반화를 가능하게 하기 위해 사용자 이력을 모델링하기 위해 LSTM을 갖는 순환 신경망을 사용한다.

실험 결과

연구 질문

• RQ1 배포 이전에 추천 시스템이 어떤 선호도 이동을 유도할 수 있는지 어떻게 추정할 수 있는가?
• RQ2 '안전한' 선호도 이동이란 무엇이며, 이러한 이동을 위한 신뢰 영역은 어떻게 정의할 수 있는가?
• RQ3 학습된 선호도 동적 모델이 새로운 추천 시스템 하에서 사용자 선호도 변화를 얼마나 정확하게 예측할 수 있는가?
• RQ4 안전한 이동 영역 내에서 최적화하는 강화학습 기반 추천 시스템은 참여도를 유지하면서도 조작적 행동을 피할 수 있는가?
• RQ5 모델의 잘못된 특정화나 정책 일반화에서의 분포 이탈 상황에서 모델 성능은 어떻게 변하는가?

주요 결과

• 학습된 선호도 동적 모델은 새로운 추천 시스템 하에서 사용자 선호도와 그 변화를 효과적으로 추정하며, 선호도 예측에서 오라클 성능에 거의 근접한 성능을 보인다.
• 반사적 선호도 추정은 스무딩 추정의 근사 오차와 분포 이탈로 인해 더 어려운 문제로, 오라클 설정보다 약간 낮은 정확도를 보인다.
• 안전한 이동 신뢰 영역 내에 머무르도록 훈련된 추천 시스템은 높은 참여도를 달성하면서도 제약이 없는 강화학습 정책에서 관찰되는 극단적인 선호도 이동을 피한다.
• 조직적인 정책조차도 측정 가능한 선호도 이동을 일으키지만, 이는 장기적 강화학습 정책이 유도하는 것보다 덜 심각한 것으로, 장기 최적화의 위험성을 드러낸다.
• 이 프레임워크는 자연 선호도 변화에서 크게 벗어나는 정책 유도 선호도 이동을 성공적으로 식별하여, 잠재적인 조작적 행동의 조기 탐지가 가능하다.
• 테스트 시점에서 다양한 RS 정책 간의 일반화가 가능하며, 정책 유형의 일부 분포 이탈에도 불구하고 강건성을 보여준다.