[논문 리뷰] Recommendation Fairness: From Static to Dynamic

Dell Zhang, Jun Wang|arXiv (Cornell University)|2021. 09. 05.

Advanced Bandit Algorithms Research참고 문헌 80인용 수 4

한 줄 요약

이 논문은 추천 시스템의 공정성 평가 방식을 정적 평가에서 동적, 강화학습(RL)-기반 제어로의 범주 전환을 주장하며, 공정성을 동적이고 장기적인 의사결정 프레임워크 내에 통합할 것을 제안한다. 비정상적인 게임 내에서 다중 에이전트 및 다중 목적 최적화를 활용해 공정성을 강화학습 기반 추천 시스템에 통합함으로써, 지속적이고 적응형 공정성 모니터링 및 제어를 가능하게 한다.

ABSTRACT

Driven by the need to capture users' evolving interests and optimize their long-term experiences, more and more recommender systems have started to model recommendation as a Markov decision process and employ reinforcement learning to address the problem. Shouldn't research on the fairness of recommender systems follow the same trend from static evaluation and one-shot intervention to dynamic monitoring and non-stop control? In this paper, we portray the recent developments in recommender systems first and then discuss how fairness could be baked into the reinforcement learning techniques for recommendation. Moreover, we argue that in order to make further progress in recommendation fairness, we may want to consider multi-agent (game-theoretic) optimization, multi-objective (Pareto) optimization, and simulation-based optimization, in the general framework of stochastic games.

연구 동기 및 목표

• 정적 공정성 평가의 한계를 해결하기 위해 장기적이고 동적인 공정성 제어로의 전환을 목표로 한다.
• 장기적인 사용자 만족도와 공정한 결과를 동시에 최적화하기 위해 공정성 제약 조건을 강화학습 프레임워크에 통합한다.
• 상호작용적인 추천 환경에서 복잡한 공정성 트레이드오프를 모델링하기 위해 다중 에이전트 및 다중 목적 최적화를 탐색한다.
• 추천 시스템의 동적 의사결정 과정의 핵심에 공정성을 통합함으로써 책임감 있는 AI의 최신 기술 수준을 향상시킨다.
• 공정성을 일회성 개입이나 정적 지표가 아니라 지속적인 최적화 문제로 위치시킨다.

제안 방법

• 사용자 상태가 시간에 따라 변화하는 마르코프 결정 과정(MDP)으로 추천을 모델링하며, 행동은 항목 추천이다.
• 장기적 사용자 보상 최적화를 위한 정책을 학습하기 위해 문맥 기반 밴딧, DQN, 정책 그래디언트, 액터-크리틱 방법과 같은 강화학습(RL) 알고리즘을 활용한다.
• 공정성 인식 보상 조정 및 제약 조건이 있는 강화학습 기법을 사용해 RL 목표 함수에 공정성 제약 조건을 통합한다.
• 다양한 에이전트(예: 사용자, 시스템, 콘텐츠 제공자) 간의 경쟁적 또는 협력적 공정성 목표를 모델링하기 위해 프레임워크를 비정상적 게임으로 확장한다.
• 개인화, 다양성, 공정성과 같은 상충되는 목표를 균형 잡기 위해 다중 목적 최적화(파레토 최적화)를 적용한다.
• 실시간 사용자 피드백이 없는 상황에서도 역사적 상호작용 데이터를 사용해 공정성 인식 정책을 훈련할 수 있도록 오프라인 RL 방법을 활용한다.

실험 결과

연구 질문

• RQ1 어떻게 추천 시스템의 공정성을 정적 평가가 아닌 동적이고 장기적인 최적화 문제로 효과적으로 모델링할 수 있는가?
• RQ2 강화학습 기반 추천 시스템에 공정성 제약 조건을 통합할 때의 주요 과제는 무엇인가?
• RQ3 다중 에이전트 및 다중 목적 최적화 프레임워크는 상호작용적이고 변화하는 추천 환경에서 공정성을 어떻게 향상시킬 수 있는가?
• RQ4 시뮬레이션 기반 최적화는 공정성 인식 RL 정책의 강건성과 적응 가능성에 어떤 방식으로 기여하는가?
• RQ5 비정상적 게임은 추천 시스템에서 다수의 이해관계자 간 복잡한 공정성 역학을 모델링하는 데 어떤 역할을 하는가?

주요 결과

• 정적 공정성 평가에서 동적이고 RL 기반의 제어로의 전환은 지속적인 공정성 모니터링과 적응형 정책 업데이트를 가능하게 한다.
• RL에 공정성을 통합함으로써 인구 통계학적 요소, 인기도, 사용자 활동성과 관련된 편향을 완화하면서도 장기적인 사용자 만족도를 최적화할 수 있다.
• 다중 에이전트 및 다중 목적 최적화 프레임워크는 복잡한 추천 생태계에서의 공정성 트레이드오프를 체계적이고 확장 가능한 방식으로 모델링할 수 있다.
• 시뮬레이션 기반 최적화 및 오프라인 RL은 실시간 사용자 피드백 없이도 공정성 인식 정책을 훈련시켜 배포 리스크를 줄일 수 있다.
• 비정상적 게임은 서로 다른 공정성 및 성능 목표를 가진 다수의 상호작용 에이전트가 존재하는 환경에서 공정성을 자연스럽게 형식화할 수 있다.
• 제안된 프레임워크는 현대 추천 시스템의 동적 특성과 부합하는 비정지적 실시간 공정성 제어를 지원한다.