[논문 리뷰] The Externalities of Exploration and How Data Diversity Helps Exploitation

Manish Raghavan, Aleksandrs Slivkins외 2명|arXiv (Cornell University)|2018. 06. 01.

Advanced Bandit Algorithms Research인용 수 15

한 줄 요약

이 논문은 데이터 다양성이 탐색-이행 균형에서의 이행 성과에 미치는 영향을 조사하며, 체르노프 부등식을 사용하여 기대 성과를 미만도는 확률을 분석한다. γ = 1/19로 설정함으로써, 다양한 데이터가 빈약한 성과의 위험을 상당히 감소시켜 학습 시스템에서 신뢰할 수 있는 이행을 향상시킨다.

ABSTRACT

Online learning algorithms, widely used to power search and content optimization on the web, must balance exploration and exploitation, potentially sacrificing the experience of current users for information that will lead to better decisions in the future. Recently, concerns have been raised about whether the process of exploration could be viewed as unfair, placing too much burden on certain individuals or groups. Motivated by these concerns, we initiate the study of the externalities of exploration - the undesirable side effects that the presence of one party may impose on another - under the linear contextual bandits model. We introduce the notion of a group externality, measuring the extent to which the presence of one population of users impacts the rewards of another. We show that this impact can in some cases be negative, and that, in a certain sense, no algorithm can avoid it. We then study externalities at the individual level, interpreting the act of exploration as an externality imposed on the current user of a system by future users. This drives us to ask under what conditions inherent diversity in the data makes explicit exploration unnecessary. We build on a recent line of work on the smoothed analysis of the greedy algorithm that always chooses the action that currently looks optimal, improving on prior results to show that a greedy approach almost matches the best possible Bayesian regret rate of any other algorithm on the same problem instance whenever the diversity conditions hold, and that this regret is at most $ ilde{O}(T^{1/3})$. Returning to group-level effects, we show that under the same conditions, negative group externalities essentially vanish under the greedy algorithm. Together, our results uncover a sharp contrast between the high externalities that exist in the worst case, and the ability to remove all externalities if the data is sufficiently diverse.

연구 동기 및 목표

• 탐색-이행 프레임워크 내에서 데이터 다양성이 이행 효율을 향상시키는 데서의 역할을 이해하기 위해.
• 확률적 경계를 사용하여 기대 성과에서의 성과 부족 위험을 정량화하기 위해.
• 다양한 데이터 다양성이 학습 시스템에서 열악한 성과 발생 가능성에 미치는 영향을 평가하기 위해.
• 체르노프 부등식을 적용하여 성과 이탈의 꼬리 확률을 모델링하기 위해.
• 데이터 다양성이 더 신뢰할 수 있는 이행 결과를 이끌어내는 조건을 유도하기 위해.

제안 방법

• 논문은 성과 지표 $ C_t $ 가 기대값의 일부 이하로 떨어질 확률을 모델링하기 위해 체르노프 부등식을 적용한다.
• 꼬리 위험을 정량화하기 위해 특별한 형태인 $ \Pr\left[C_{t}\leq(1-\gamma)\mathbb{E}\left[C_{t}\right]\right]\leq\exp\left(-\frac{\gamma^{2}}{2}\mathbb{E}\left[C_{t}\right]\right}) $ 를 사용한다.
• 특정 이격 수준에서의 경계를 평가하기 위해 $ \gamma = 1/19 $ 를 선택한다.
• 분석은 기대 성과에 대한 함수로서 꼬리 확률의 지수 감소에 집중한다.
• 이 방법은 $ C_t $ 가 독립적인 랜덤 변수의 합임을 가정하여 농도 부등식의 적용을 가능하게 한다.
• 이 프레임워크는 데이터 다양성이 열악한 이행 결과 발생 가능성을 줄이는 방식으로 적용된다.

실험 결과

연구 질문

• RQ1 데이터 다양성은 탐색-이행 설정에서 기대 성과를 미만도는 확률에 어떻게 영향을 미치는가?
• RQ2 특정 이격 임계값(γ = 1/19)은 성과 손실의 꼬리 확률에 어떤 영향을 미치는가?
• RQ3 체르노프 부등식을 사용하여 부족한 데이터 다양성으로 인한 열악한 이행 위험을 정량화할 수 있는 정도는 어느 정도인가?
• RQ4 학습 시스템에서 데이터 다양성을 증가시키면 열악한 결과 발생 가능성이 어떻게 감소하는가?
• RQ5 데이터 다양성과 성과의 기대값 주변 집중 사이의 이론적 관계는 무엇인가?

주요 결과

• γ = 1/19로 설정하면 꼬리 확률 경계가 $ \exp\left(-\frac{1}{722}\mathbb{E}\left[C_{t}\right]\right) $ 로 도출되어 성과 부족 위험이 강력한 지수 감소를 보인다.
• 이 경계는 기대 성과 $ \mathbb{E}[C_t] $ 가 증가할수록 심각한 성과 부족 위험이 급격히 감소함을 보여준다.
• 분석은 데이터 다양성이 성과의 평균 주변 집중을 강화함으로써 열악한 이행의 위험을 줄임을 입증한다.
• 체르노프 부등식은 다양한 데이터가 학습 시스템에서 신뢰성을 향상시키는 이유에 대한 이론적 근거를 제공한다.
• 결과는 더 높은 데이터 다양성을 가진 시스템이 기대 성과 이하의 큰 이격을 겪을 가능성이 낮다는 것을 암시한다.