[논문 리뷰] Economic Recommendation Systems

Gal Bahar, Rann Smorodinsky외 1명|arXiv (Cornell University)|2015. 07. 26.

Advanced Bandit Algorithms Research참고 문헌 15인용 수 11

한 줄 요약

이 논문은 사회적 네트워크에서 상호 관찰하는 분산된 에이전트를 위한 인센티브 호환성 있는 경제적 추천 시스템을 제안한다. 이는 고가시성 메커니즘을 제안하여, 고가시성 에이전트의 수가 부분선형적으로 증가하는 한 점점 최적에 수렴하는 탐색과 이용을 보장한다. 특히 $2\alpha + \beta < 1$일 때 성립하며, 여기서 $N^\alpha$는 국소적 가시성을 제한하고 $N^\beta$는 고도로 연결된 에이전트의 수를 제한한다.

ABSTRACT

In the on-line Explore and Exploit literature, central to Machine Learning, a central planner is faced with a set of alternatives, each yielding some unknown reward. The planner's goal is to learn the optimal alternative as soon as possible, via experimentation. A typical assumption in this model is that the planner has full control over the experiment design and implementation. When experiments are implemented by a society of self-motivated agents the planner can only recommend experimentation but has no power to enforce it. Kremer et al (JPE, 2014) introduce the first study of explore and exploit schemes that account for agents' incentives. In their model it is implicitly assumed that agents do not see nor communicate with each other. Their main result is a characterization of an optimal explore and exploit scheme. In this work we extend Kremer et al (JPE, 2014) by adding a layer of a social network according to which agents can observe each other. It turns out that when observability is factored in the scheme proposed by Kremer et al (JPE, 2014) is no longer incentive compatible. In our main result we provide a tight bound on how many other agents can each agent observe and still have an incentive-compatible algorithm and asymptotically optimal outcome. More technically, for a setting with N agents where the number of nodes with degree greater than N^alpha is bounded by N^beta and 2*alpha+beta &lt; 1 we construct incentive-compatible asymptotically optimal mechanism. The bound 2*alpha+beta &lt; 1 is shown to be tight.

연구 동기 및 목표

• 에이전트가 상호 행동을 관찰하는 분산된 사회적 네트워크에서 인센티브 호환성 있는 추천 메커니즘을 설계하는 데 도전하는 것.
• 에이전트가 실험할 의사가 생기는 것을 영향을 주는 사회적 네트워크의 관찰 가능성 요소를 통합하여 이전의 탐색-이용 기법을 확장하는 것.
• 사회적 관찰 가능성 존재 하에 메커니즘이 동시에 인센티브 호환성과 점점 최적일 수 있는 조건을 규명하는 것.
• 효율적이고 공정한 탐색이 가능해지는 네트워크 구조의 엄밀한 경계, 특히 차수 분포와 고도로 연결된 에이전트의 수를 규명하는 것.

제안 방법

• 에이전트의 가시성과 도착 순서에 따라 실험 또는 이용에 배정하는 고가시성 메커니즘을 도입한다.
• 두 단계 프로토콜을 사용한다: 실험 단계(하위최적 행동을 권장)와 이용 단계(최적 행동을 권장).
• 플래그 기반의 메시지 전달 시스템을 활용하여, 에이전트는 현재 실험 상태와 자신의 가시성 집합에 따라 추천을 수신한다.
• $T = \{n: |B(n)| \leq N^\alpha\}$를 저가시성 에이전트로 정의하고 $S = N \setminus T$를 고가시성 에이전트로 정의하며, $|S| \leq N^\beta$이다.
• 관측하고 행동한 에이전트 수를 기반으로 $k = K'$의 임계값을 설정하여 실험 단계의 종료를 유도한다.
• 조건부 기대값과 인센티브 호환성 제약 조건을 사용하여 관측된 보상의 기대값에 대한 경계를 유도하고 진정한 행동을 보장한다.

실험 결과

연구 질문

• RQ1 어떤 네트워크 구조에서 사회적 탐색-이용 환경에서 점점 최적의 탐색을 보장하는 인센티브 호환성 메커니즘을 설계할 수 있는가?
• RQ2 에이전트가 다른 이들의 행동을 볼 수 있는 사회적 관찰 가능성 존재가 추천 시스템의 인센티브 구조에 어떤 영향을 미치는가?
• RQ3 인센티브 호환성과 점점 효율성의 가능성을 유지할 수 있는 최고의 고가시성 에이전트의 수와 연결성에 대한 가장 날카로운 경계는 무엇인가?
• RQ4 모든 에이전트가 서로를 관찰할 수 있는 경우(즉, 완전한 관찰 가능성)에도 메커니즘이 효율적이고 인센티브 호환성을 유지할 수 있는가?

주요 결과

• 고가시성 메커니즘은 $2\alpha + \beta < 1$ 조건 하에서 인센티브 호환성과 점점 최적성을 보장한다. 여기서 $\alpha$는 국소적 가시성을 제어하고 $\beta$는 고도로 연결된 에이전트의 수를 제한한다.
• 메커니즘은 최대 $3K\left(\frac{\mu_a - \frac{\mu_b}{2}}{\mu_a - \mu_b}\right)N^{\beta + 2\alpha}$명의 에이전트가 실험 단계를 거친 후 실험 단계를 종료하여 부분선형적 손실을 보장한다.
• $2\alpha + \beta < 1$ 경계는 날카로운 경계이다: $\alpha = 0$이고 $\beta = 1$일 때(완전한 관찰 가능성), 인센티브 호환성과 점점 최적의 메커니즘은 존재하지 않는다.
• 완전한 관찰 가능성의 경우($B(n) = N$ for all $n$), 만약 $E[V_a | V_a < x] > \mu_b$이면, 인센티브 호환성과 효율성의 메커니즘이 존재하지 않으며, 이는 기대값 간의 모순 때문이다.
• 메커니즘은 열 劣안행동을 취하는 에이전트 수가 $O(N^{\beta + 2\alpha})$ 이하로 보장하며, $\beta + 2\alpha < 1$일 때 $N \to \infty$로 갈수록 이 비율은 0에 수렴한다.
• 증명은 모순에 기반한다: 모든 에이전트가 다른 이들을 모두 관찰할 수 있다면, 더 나은 행동을 처음으로 시도하는 첫 번째 에이전트의 기대값은 $\mu_b$를 초과하게 되어 인센티브 호환성 조건을 위반한다.