[논문 리뷰] Competing Bandits: Learning under Competition

Yishay Mansour, Aleksandrs Slivkins외 1명|arXiv (Cornell University)|2017. 02. 27.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 19

한 줄 요약

이 논문은 사용자가 기대 효용에 따라 선택하는 상황에서, 두 개의 다니지 않은 벤치마크 알고리즘 간의 경쟁을 연구한다. 높은 이성성(하드맥스)일 경우 경쟁은 탐색을 억제하고 이기적인 전략을 선호하지만, 중간 수준의 이성성(소프트맥스)일 경우 더 나은 알고리즘이 도입된다—이는 경쟁성과 혁신 수용 간에 역U자 관계가 존재함을 시사한다.

ABSTRACT

Most modern systems strive to learn from interactions with users, and many engage in exploration: making potentially suboptimal choices for the sake of acquiring new information. We initiate a study of the interplay between exploration and competition--how such systems balance the exploration for learning and the competition for users. Here the users play three distinct roles: they are customers that generate revenue, they are sources of data for learning, and they are self-interested agents which choose among the competing systems. In our model, we consider competition between two multi-armed bandit algorithms faced with the same bandit instance. Users arrive one by one and choose among the two algorithms, so that each algorithm makes progress if and only if it is chosen. We ask whether and to what extent competition incentivizes the adoption of better bandit algorithms. We investigate this issue for several models of user response, as we vary the degree of rationality and competitiveness in the model. Our findings are closely related to the "competition vs. innovation" relationship, a well-studied theme in economics.

연구 동기 및 목표

• 학습 시스템 간의 경쟁이 더 나은 탐색 알고리즘의 수용에 미치는 영향를 이해하는 것.
• 다니지 않은 벤치마크 환경에서 사용자 이성성, 시장 경쟁성, 알고리즘 선택 간의 상호작용을 모델링하는 것.
• 경쟁이 더 나은 학습 알고리즘을 유도하는지, 아니면 탐색 부족으로 인한 열악한 결과를 초래하는지 분석하는 것.
• 다양한 사용자 반응 모델 하에서 우월한 알고리즘이 균형 상태에서 우세해지는 조건을 규명하는 것.
• 사용자 주도 선택이 이루어지는 학습 시스템에서 경쟁과 독점 간의 사회적 복지 영향을 탐구하는 것.

제안 방법

• 사용자가 순차적으로 도착하는 상황에서 두 주체가 다니지 않은 벤치마크 알고리즘을 사용하고, 이를 통해 사용자를 확보하기 위한 게임을 모델링한다.
• 사용자는 이성성과 의사결정 행동을 반영하는 반응 함수(예: 하드맥스, 소프트맥스, 하드맥스&랜덤)에 따라 주체를 선택한다.
• 각 주체는 자신을 선택한 사용자들만 관찰할 수 있으며, 상대방의 결과를 관측하지 못하고 자신의 행동에 대한 보상 분포를 학습해야 한다.
• 다양한 반응 함수 하에서의 균형 행동을 분석하며, 특히 더 나은 알고리즘(예: 베이지안 리그레트가 낮은 알고리즘)이 수용되는지에 중점을 둔다.
• 더 나은 알고리즘이 선호되는 조건을 기술하기 위해 BIR-지배성(Bayesian-Improvement-Rational dominance) 개념을 도입한다.
• 이론적 분석을 통해 소프트맥스 및 하드맥스&랜덤을 포함한 다양한 반응 함수 하에서 나시 균형의 존재성과 유일성을 증명한다.

실험 결과

연구 질문

• RQ1 학습 시스템 간의 경쟁이 더 나은 다니지 않은 벤치마크 알고리즘의 수용을 유도하는가?
• RQ2 사용자의 이성성이 경쟁적 환경에서 학습 알고리즘의 균형 선택에 미치는 영향는 어떠한가?
• RQ3 어떤 조건에서 더 나은 알고리즘(낮은 베이지안 리그레트를 가진)이 균형에서 지배적인가?
• RQ4 학습 시스템에서의 경쟁성과 혁신 간의 관계는 어떠한가? 이 관계는 역U자 형태를 따른다.
• RQ5 사용자 반응의 구조(예: 소프트맥스 대 하드맥스)는 학습 알고리즘의 장기적 성능과 수용에 어떤 영향을 미치는가?

주요 결과

• 하드맥스 반응 함수(완전한 이성성) 하에서는 탐색을 피하는 동적그리디가 지배 전략이 되며, 이는 더 나은 알고리즘의 수용을 방해한다.
• 작은 랜덤화(ε₀가 0에 가까운)를 가진 하드맥스&랜덤 하에서는 BIR-지배성에 의해 다른 알고리즘보다 열등한 알고리즘이 균형에서 수용될 수 있지만, 이로 인한 이득은 제한적이다.
• 소프트맥스 반응 하에서는 더 나은 알고리즘이 다른 알고리즘보다 약한 BIR-지배성을 만족하는 한 수용되며, 이는 혁신에 대한 더 강한 자극을 의미한다.
• 사용자 이성성(ε₀로 제어됨)에 따라 더 나은 알고리즘으로 전환하는 한계 효용은 역U자 형태를 띠며, 중간 수준의 이성성에서 최고조에 이르게 된다.
• 균일 선택 모델(ε₀ = 0.5)에서는 혁신 유도 요인이 없으며, 알고리즘 품질과 무관하게 사용자가 무작위로 선택한다.
• 독점 구조는 경쟁보다 더 나은 사회적 복지를 초래할 수 있으며, 이는 단일 주체가 리그레트를 최소화하고 최상의 알고리즘을 도입하도록 유도하기 때문이다.