[논문 리뷰] Rethinking Incentives in Recommender Systems: Are Monotone Rewards Always Beneficial?

Yao Fan, Chuanhao Li외 6명|arXiv (Cornell University)|2023. 06. 13.

Auction Theory and Applications인용 수 4

한 줄 요약

이 논문은 추천 시스템에서 단조성 보상 메커니즘은 항상 사회적 복지를 향상시킨다는 가정을 도전하며, 이들이 창작자들이 인기 콘텐츠에 과도하게 집중하게 만들어 일정 비율의 복지 손실을 야기한다는 것을 입증한다. 이를 위해 단조성을 포기하지만 안정적이고 복지 최적화된 균형을 보장하는 백워드 보상 메커니즘(BRMs)을 제안한다. 이 메커니즘은 잠재 게임 구조로 게임을 설계함으로써 작동하며, 실험 결과 BRMs가 표준 메커니즘보다 공정성과 총 복지 향상에서 뚜렷이 뛰어나다는 것을 보여준다.

ABSTRACT

The past decade has witnessed the flourishing of a new profession as media content creators, who rely on revenue streams from online content recommendation platforms. The reward mechanism employed by these platforms creates a competitive environment among creators which affect their production choices and, consequently, content distribution and system welfare. It is thus crucial to design the platform's reward mechanism in order to steer the creators' competition towards a desirable welfare outcome in the long run. This work makes two major contributions in this regard: first, we uncover a fundamental limit about a class of widely adopted mechanisms, coined Merit-based Monotone Mechanisms, by showing that they inevitably lead to a constant fraction loss of the optimal welfare. To circumvent this limitation, we introduce Backward Rewarding Mechanisms (BRMs) and show that the competition game resultant from BRMs possesses a potential game structure. BRMs thus naturally induce strategic creators' collective behaviors towards optimizing the potential function, which can be designed to match any given welfare metric. In addition, the BRM class can be parameterized to allow the platform to directly optimize welfare within the feasible mechanism space even when the welfare metric is not explicitly defined.

연구 동기 및 목표

• 콘텐츠 창작자 경쟁 환경에서 널리 사용되는 기여 기반 단조성 보상 메커니즘(M³)이 사회적 복지를 최적화하는 데 있어 근본적인 한계를 규명하는 것.
• M³ 메커니즘이 인기 없는 콘텐츠 창작을 저해함으로써 본질적으로 일정 비율의 복지 손실을 야기한다는 문제를 해결하는 것.
• 기여 기반 인cent라이브를 유지하면서도 최적의 사회적 복지 결과를 달성할 수 있도록 하는 새로운 보상 메커니즘 클래스인 백워드 보상 메커니즘(BRMs)을 설계하는 것.
• 사회적 복지 지표가 명시적으로 정의되어 있지 않더라도, 매개변수화된 BRM 하위 클래스를 통해 실용적이고 경험 기반의 사회적 복지 최적화를 가능하게 하는 것.

제안 방법

• 추천 시스템 내 창작자 간의 전략적 행동을 모델링하기 위해 콘텐츠 창작자 경쟁(C³) 게임 프레임워크를 도입한다.
• 기여 기반 및 단조성 성질을 특징으로 하는 널리 사용되는 보상 메커니즘의 클래스인 기여 기반 단조성 메커니즘(M³)을 정의한다.
• 단조성을 완화하지만 기여 기반 인센티브를 유지하는 백워드 보상 메커니즘(BRMs)을 제안하며, 이로 인해 유도된 게임이 잠재 게임이 되도록 보장한다.
• BRMs에서 잠재 기능을 구성하여 주어진 사회적 복지 지표와 일치시킬 수 있도록 하여 균형 결과가 복지 최적화를 달성하도록 보장한다.
• 기울기 기반 방법을 사용하여 복지 지표가 명시적으로 정의되어 있지 않더라도 경험 기반의 복지 최적화를 가능하게 하는 BRMs의 매개변수화된 하위 클래스를 개발한다.
• 사용자 그룹 분포와 비용 구조가 다양한 조건에서 M³ 메커니즘과의 비교를 위해 MovieLens-1m 기반 시뮬레이션 환경을 활용한다.

실험 결과

연구 질문

• RQ1 기존 보상 메커니즘의 단조성 성질이 콘텐츠 추천 시스템에서 복지 손실을 필연적으로 초래하는가?
• RQ2 기여 기반 인센티브를 유지하면서도 시스템이 복지 최적 균형으로 수렴하도록 보장할 수 있는 보상 메커니즘이 설계될 수 있는가?
• RQ3 복지 지표가 명시적으로 알려져 있지 않은 상황에서도 경험 기반의 복지 최적화를 가능하게 하는 메커니즘 클래스를 구성할 수 있는가?
• RQ4 BRMs는 다양한 사용자 그룹 간 공정한 사용자 유틸리티를 촉진하는 데 표준 M³ 메커니즘과 어떻게 비교되는가?
• RQ5 창작자 비용 구조는 BRMs가 복지 향상 달성에 있어 효과적인 데 어떤 영향을 미치는가?

주요 결과

• 기여 기반 단조성 메커니즘(M³)은 자연스러운 상황에서 다수의 사용자 그룹에 창작자가 과도하게 집중함으로써 일정 비율의 복지 손실을 피할 수 없다.
• 백워드 보상 메커니즘(BRMs)은 잠재 게임을 형성하여 안정적이고 예측 가능한 균형 수렴을 보장하며, 이 균형 결과는 잠재 기능을 최적화한다.
• BRMs의 잠재 기능은 주어진 사회적 복지 지표와 일치하도록 명시적으로 설계할 수 있어 창작자 전략 행동이 시스템 전체 복지 최적화와 일치하도록 한다.
• 경험적 평가 결과, BRCM opt 및 기타 BRM 변종은 합성 환경과 MovieLens-1m 기반 환경 모두에서 M³ 메커니즘보다 사회적 복지 측면에서 뚜렷이 뛰어나다.
• BRMs는 소수 및 니치 사용자 그룹의 평균 유틸리티를 크게 향상시키면서도 다수 그룹의 만족도를 유지하여 더 공정한 사용자 유틸리티 분포를 이룬다.
• 이론적으로 최적임에도 불구하고 BRCM ∗ 는 확률적 동역학으로 인해 국소 최적점으로 수렴하지 못해 약간의 성능 저하를 보이며, 이는 알고리즘 2가 경험 기반 메커니즘 최적화에 있어 가치가 있음을 시사한다.