[論文レビュー] Decentralized Exploration in Multi-Armed Bandits

Raphaël Féraud, Réda Alami+1 more|arXiv (Cornell University)|Nov 19, 2018

Advanced Bandit Algorithms Research参考文献 27被引用数 7

ひとこと要約

本稿では、非同期で分散型のプレイヤーが協働して最良の腕を特定する際のプライバシー保護を実現する汎用的手法であるDecentralized Eliminationを提案する。通信コストを低く抑え、攻撃者が1人のユーザーのデータからの推論に限定されるようにすることでプライバシーを確保し、サンプル複雑性のペナルティは最も頻繁に参加するプレイヤーの確率の逆数に比例する。非定常な環境への拡張も可能である。

ABSTRACT

We consider the decentralized exploration problem: a set of players collaborate to identify the best arm by asynchronously interacting with the same stochastic environment. The objective is to insure privacy in the best arm identification problem between asynchronous, collaborative, and thrifty players. In the context of a digital service, we advocate that this decentralized approach allows a good balance between the interests of users and those of service providers: the providers optimize their services, while protecting the privacy of the users and saving resources. We define the privacy level as the amount of information an adversary could infer by intercepting the messages concerning a single user. We provide a generic algorithm Decentralized Elimination, which uses any best arm identification algorithm as a subroutine. We prove that this algorithm insures privacy, with a low communication cost, and that in comparison to the lower bound of the best arm identification problem, its sample complexity suffers from a penalty depending on the inverse of the probability of the most frequent players. Then, thanks to the genericity of the approach, we extend the proposed algorithm to the non-stationary bandits. Finally, experiments illustrate and complete the analysis.

研究の動機と目的

• プレイヤーが非同期に協働して最良の腕を特定する分散型でプライバシーを保証するマルチアームバンディットにおける、プライベートで分散型の探索の課題に対処すること。
• ユーザーのメッセージからの情報漏洩を最小限に抑えることで、ユーザーのプライバシーとサービスプロバイダーの効率性のバランスを図ること。
• 通信効率の高いアルゴリズムを設計し、強固なプライバシーを維持しながら、競争力のあるサンプル複雑性を達成すること。
• 非定常なバンディット環境への拡張を図り、時間とともに変化する報酬分布に適応可能にする。

提案手法

• アルゴリズムは、既存の最良腕特定アルゴリズムをサブルーチンとして使用しており、モジュラリティと広範な適用可能性を実現する。
• 攻撃者が1人のユーザーのメッセージから推論できる情報に制限することでプライバシーを強化し、プライバシーは1ユーザーあたりの最大情報漏洩量として定義される。
• プレイヤーは非同期かつ協働的に通信し、受信したメッセージを用いて各自の最良腕に関する局所的信念を更新する。
• メッセージ交換を最小限に抑えつつ収束を保証することで、通信コストを低く抑える。
• 分散化のコストを定量化するため、最も頻繁に参加するプレイヤーの確率の逆数に比例するサンプル複雑性のペナルティを導入する。
• 腕の報酬に変化がある場合に適応できるように、削除機構を変更することで非定常バンディットへの拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 非同期で分散型の環境において、プレイヤーが協働的に最良の腕を特定しつつ、ユーザーのプライバシーを保証する方法は何か？
• RQ2 分散型バンディット学習において、プライバシー、通信コスト、サンプル複雑性のトレードオフはどのようなものか？
• RQ3 プレイヤーの参加頻度が分散型最良腕特定のサンプル複雑性にどのように影響するか？
• RQ4 提案手法を、時間とともに報酬が変化する非定常環境へ拡張可能か？
• RQ5 攻撃者が1人のユーザーの通信から推論できる情報量の理論的上限は何か？

主な発見

• Decentralized Eliminationアルゴリズムは、攻撃者が1人のユーザーのデータからの推論に限定されるようにすることで、強固なプライバシーを実現する。プライバシーは、攻撃者が1人のユーザーのメッセージから学べる最大情報量として定義される。
• 通信コストが低いため、リソース制約のあるデジタルサービスに適している。
• サンプル複雑性は、中央集権的な下界と比較して、最も頻繁に参加するプレイヤーの確率の逆数に比例するペナルティを受ける。
• 汎用的であり、任意の最良腕特定アルゴリズムをサブルーチンとして組み込むことができるため、柔軟性と拡張性を備えている。
• 非定常バンディットへの拡張により、時間的に変化する報酬分布を持つ環境への適応性が実証された。
• 実験により理論的分析の妥当性が検証され、さまざまな設定においてプライバシーと効率性が維持されていることが示された。