[論文レビュー] The Externalities of Exploration and How Data Diversity Helps Exploitation

Manish Raghavan, Aleksandrs Slivkins+2 more|arXiv (Cornell University)|Jun 1, 2018

Advanced Bandit Algorithms Research被引用数 15

ひとこと要約

本稿では、データの多様性が探索・活用のトレードオフにおける活用に与える影響を調査し、チェルノフ不等式を用いて期待される成果よりも劣る確率を分析している。γ = 1/19 と設定することで、多様なデータが性能の悪化リスクを顕著に低減し、学習システムにおける信頼性の高い活用を促進することが示された。

ABSTRACT

Online learning algorithms, widely used to power search and content optimization on the web, must balance exploration and exploitation, potentially sacrificing the experience of current users for information that will lead to better decisions in the future. Recently, concerns have been raised about whether the process of exploration could be viewed as unfair, placing too much burden on certain individuals or groups. Motivated by these concerns, we initiate the study of the externalities of exploration - the undesirable side effects that the presence of one party may impose on another - under the linear contextual bandits model. We introduce the notion of a group externality, measuring the extent to which the presence of one population of users impacts the rewards of another. We show that this impact can in some cases be negative, and that, in a certain sense, no algorithm can avoid it. We then study externalities at the individual level, interpreting the act of exploration as an externality imposed on the current user of a system by future users. This drives us to ask under what conditions inherent diversity in the data makes explicit exploration unnecessary. We build on a recent line of work on the smoothed analysis of the greedy algorithm that always chooses the action that currently looks optimal, improving on prior results to show that a greedy approach almost matches the best possible Bayesian regret rate of any other algorithm on the same problem instance whenever the diversity conditions hold, and that this regret is at most $ ilde{O}(T^{1/3})$. Returning to group-level effects, we show that under the same conditions, negative group externalities essentially vanish under the greedy algorithm. Together, our results uncover a sharp contrast between the high externalities that exist in the worst case, and the ability to remove all externalities if the data is sufficiently diverse.

研究の動機と目的

• 探索・活用フレームワーク内でのデータ多様性が活用効率を向上させる役割を理解すること。
• 確率的不等式を用いて期待される成果に対する劣化リスクを定量化すること。
• データ多様性の変動が学習システムにおける劣化性能の発生確率に与える影響を評価すること。
• チェルノフ不等式を用いて性能の逸脱確率（裾確率）をモデル化すること。
• データ多様性がより信頼性の高い活用結果をもたらす条件を導出すること。

提案手法

• 本稿では、性能指標 $ C_t $ がその期待値の一部以下に下回る確率をモデル化するためにチェルノフ不等式を適用している。
• 具体的には、$ \Pr\left[C_{t}\leq(1-\gamma)\mathbb{E}\left[C_{t}\right]\right]\leq\exp\left(-\frac{\gamma^{2}}{2}\mathbb{E}\left[C_{t}\right]\right}) $ という形を用いて尾部リスクを定量化している。
• 期待性能からの特定の逸脱レベルを評価するために、パラメータ $ \gamma = 1/19 $ が選択されている。
• 分析は、期待性能の関数として尾部確率が指数関数的に減少する様子に焦点を当てている。
• この手法は、$ C_t $ が独立な確率変数の和であると仮定しており、濃度不等式の適用を可能としている。
• このフレームワークを用いて、データ多様性が劣悪な活用結果の発生確率をどのように低減するかを評価している。

実験結果

リサーチクエスチョン

• RQ1 データ多様性は、探索・活用設定における期待される性能を下回る確率にどのように影響するか？
• RQ2 特定の逸脱しきい値（γ = 1/19）は、性能低下の尾部確率にどのような影響を及ぼすか？
• RQ3 チェルノフ不等式は、データ多様性が不足していることによる劣悪な活用リスクをどの程度定量化できるか？
• RQ4 データ多様性を高めることで、学習システムにおける劣悪な結果の発生確率はどのように低減されるか？
• RQ5 データ多様性と性能が期待値の周囲に集中する理論的関係は何か？

主な発見

• γ = 1/19 と設定した場合、尾部確率の上限は $ \exp\left(-\frac{1}{722}\mathbb{E}\left[C_{t}\right]\right) $ となり、劣化リスクの強い指数関数的減少が示された。
• この上限は、期待性能 $ \mathbb{E}[C_t] $ が増加するにつれて、顕著に大きな劣化の確率が減少することを示している。
• 分析により、データ多様性が性能の平均周囲への集中を高めることで、劣悪な活用のリスクが低減されることを示した。
• チェルノフ不等式は、多様なデータが学習システムにおける信頼性を向上させる理論的根拠を提供している。
• この結果は、より高いデータ多様性を持つシステムは、期待性能より著しく低い値に逸脱する可能性が低いことを示唆している。