[논문 리뷰] Competing Bandits: The Perils of Exploration Under Competition

Guy Aridor, Yishay Mansour외 2명|arXiv (Cornell University)|2020. 07. 20.

Auction Theory and Applications인용 수 7

한 줄 요약

이 논문은 플랫폼 간 경쟁이 다니에이 테이블 문제에서 탐색 전략 선택에 어떻게 영향을 미치는지 연구한다. 경쟁이 심할수록 기업들이 탐색을 하지 않는 이기적인 알고리즘을 채택하게 되어 사용자 복지가 낮아지며, 초기 진입 우위나 더 이성적이지 않은 사용자 선택을 통해 경쟁을 줄이면 더 나은 탐색과 높은 복지가 가능해진다.

ABSTRACT

Most online platforms strive to learn from interactions with users, and many engage in exploration: making potentially suboptimal choices for the sake of acquiring new information. We study the interplay between exploration and competition: how such platforms balance the exploration for learning and the competition for users. Here users play three distinct roles: they are customers that generate revenue, they are sources of data for learning, and they are self-interested agents which choose among the competing platforms. We consider a stylized duopoly model in which two firms face the same multi-armed bandit problem. Users arrive one by one and choose between the two firms, so that each firm makes progress on its bandit problem only if it is chosen. Through a mix of theoretical results and numerical simulations, we study whether and to what extent competition incentivizes the adoption of better bandit algorithms, and whether it leads to welfare increases for users. We find that stark competition induces firms to commit to a "greedy" bandit algorithm that leads to low welfare. However, weakening competition by providing firms with some "free" users incentivizes better exploration strategies and increases welfare. We investigate two channels for weakening the competition: relaxing the rationality of users and giving one firm a first-mover advantage. Our findings are closely related to the "competition vs. innovation" relationship, and elucidate the first-mover advantage in the digital economy.

연구 동기 및 목표

• 플랫폼 간 경쟁이 사용자 학습을 위한 밴딧 알고리즘 채택에 어떻게 영향을 미치는지 분석하는 것.
• 경쟁이 단기 명성 우려로 인해 복지 손실을 초래하는 바람에 더 나은 탐색을 유도하는지 여부를 조사하는 것.
• 사용자 행동 및 기업의 위치(예: 초기 진입 우위)가 탐색과 이용 간 균형에 어떻게 영향을 미치는지 탐색하는 것.
• 나쁜 탐색이 사용자 이탈을 유도하고 학습 능력이 추가로 약화되는 피드백 루프를 모델링하는 것.
• 경쟁적 환경에서 디지털 시장의 진입 장벽으로서의 데이터 격차가 어떻게 작용하는지 검토하는 것.

제안 방법

• 두 기업이 동일한 다니에이 테이블 문제를 겪고 사용자 명성에 따라 선택되는 이중체 모델을 사용한다.
• 반응 함수(HardMax, SoftMax, HardMax&Random)를 포함한 베이지안 선택 모델을 도입하여 이성 수준이 다양한 사용자 선택을 수식화한다.
• Needle-in-Haystack, Balanced, Sparse 등의 다양한 MAB 인스턴스에서 수치 시뮬레이션을 수행하여 경쟁 하에서 알고리즘 성능을 평가한다.
• 시간에 따른 명성 점수와 명성 차이를 분석하여 알고리즘 결과를 평가하고, 분포적 통찰을 얻기 위해 커널 밀도 추정을 사용한다.
• 사용자 이성의 완화와 초기 진입 우위의 도입이 알고리즘 채택과 사용자 복지에 미치는 영향을 평가한다.
• 이론적 분석을 통해 완전한 경쟁 하에서 기업들이 더 나은 알고리즘이 존재하더라도 이기적인 전략으로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 심한 경쟁이 기업들이 더 나은 탐색 알고리즘을 채택하도록 유도할지, 아니면 탐색을 피하는 이기적인 전략을 유도할지?
• RQ2 사용자 선택 규칙(예: 이성적 vs. 확률적)이 이중체 밴딧 환경에서의 균형 결과에 어떻게 영향을 미치는가?
• RQ3 초기 진입 우위가 탐색 유인과 사용자 복지 향상에 얼마나 큰 영향을 미치는가?
• RQ4 데이터나 명성 격차가 명시적인 모델링 없이도 내재된 네트워크 효과를 초래할 수 있는가?
• RQ5 왜 평균 명성 궤적은 경쟁적 이중체에서 알고리즘 성능을 예측하지 못하는가?

주요 결과

• 강한 경쟁은 탐색을 피하는 이기적인 밴딧 알고리즘을 기업들이 채택하게 하여 사용자 복지를 낮춘다.
• 초기 진입 우위나 더 이성적이지 않은 사용자 행동을 통해 경쟁을 완화하면 기업들이 더 나은 탐색 전략을 채택하게 된다.
• BayesGreedy와 같은 알고리즘의 명성 분포는 이중 모드를 띤다—또는 약간 더 잘하거나 크게 더 못함—이로 인해 평균 명성은 성능 예측에 부적합하다.
• Thompson Sampling과 BayesGreedy 간의 명성 차이는 오른쪽으로 기울어져 있어, 평균이 경쟁 결과의 중심 경향성 측정으로서 신뢰할 수 없음을 시사한다.
• 작은 초기 데이터나 명성 우위가 시간이 지남에 따라 증폭되어 시장 점유율 격차를 크게 만들며, 내재된 네트워크 효과를 생성한다.
• 경쟁적 이중체에서 명성 점수의 복잡하고 비정규 분포로 인해, 평균 명성 궤적이 경쟁 결과를 설명한다는 추측 5.2는 경험적으로 반증되었다.