[論文レビュー] A Dominant Strategy Truthful, Deterministic Multi-Armed Bandit Mechanism with Logarithmic Regret

Divya Padmanabhan, Satyanath Bhat+3 more|arXiv (Cornell University)|May 8, 2017

Advanced Bandit Algorithms Research参考文献 4被引用数 1

ひとこと要約

本稿では、腕の報酬の最小区別可能な差を表す解像度パラメータΔを導入することで、スポンサーリンク広告オークションにおいてO(log T)のΔレグRETを達成する決定的で、支配戦略インcentive-compatible（DSIC）な多腕バンディットメカニズムΔ-UCBを提案する。従来のΩ(T^{2/3})レグRETを示すメカニズムとは異なり、Δ-UCBは現実的な報酬差を活用することで、レグRETを顕著に低減しつつ、インcentive compatibilityと個々の合理性を維持する。

ABSTRACT

Stochastic multi-armed bandit (MAB) mechanisms are widely used in sponsored search auctions, crowdsourcing, online procurement, etc. Existing stochastic MAB mechanisms with a deterministic payment rule, proposed in the literature, necessarily suffer a regret of Ω(T2/3), where T is the number of time steps. This happens because the existing mechanisms consider the worst case scenario where the means of the agents' stochastic rewards are separated by a very small amount that depends on T. We make, and, exploit the crucial observation that in most scenarios, the separation between the agents' rewards is rarely a function of T. Moreover, in the case that the rewards of the arms are arbitrarily close, the regret contributed by such sub-optimal arms is minimal. Our idea is to allow the center to indicate the resolution, Δ, with which the agents must be distinguished. This immediately leads us to introduce the notion of Δ-Regret. Using sponsored search auctions as a concrete example (the same idea applies for other applications as well), we propose a dominant strategy incentive compatible (DSIC) and individually rational (IR), deterministic MAB mechanism, based on ideas from the Upper Confidence Bound (UCB) family of MAB algorithms. Remarkably, the proposed mechanism Δ-UCB achieves a Δ-regret of O(log T) for the case of sponsored search auctions.

研究の動機と目的

• 確率的設定における既存の決定論的MABメカニズムの高いレグRETを是正すること。これは、最悪ケースの報酬分離に起因し、Ω(T^{2/3})のレグRETを示す。
• 実際の応用では報酬差がTに依存することはめったになく、最悪ケースの仮定はあまりに楽観的であることに気づくこと。
• Δが最小区別可能な報酬差を定義するというΔレグRETの概念を導入し、より現実的な性能バインディングを可能にすること。
• 現実的な報酬差の下で低レグRETを達成しつつ、支配戦略インcentive-compatible（DSIC）かつ個々の合理性（IR）を満たすメカニズムを設計すること。
• 修正されたUCBアプローチを用いることで、スポンサーリンクオークションにおいてO(log T)のΔレグRETが達成可能であることを示すこと。

提案手法

• ΔレグRETの概念を導入し、レグRETが解像度Δ（メカニズムが区別しなければならない最小報酬差）に対して相対的に測定されることを定義する。
• 報酬の真実性と個々の合理性を保証するように調整された修正された上界信頼区間（UCB）アルゴリズムを用いる決定論的メカニズムを定義する。
• センターがΔをパラメータとして設定可能であり、腕の期待報酬の差を区別する必要がある精度を反映している。
• 信頼区間をΔにスケーリングすることで、Δ未満の差の報酬を持つ腕は、ほとんどレグRETに寄与しないように保証する。
• 他の参加者の報告にかかわらず、報酬の真実報告が参加者の期待効用を最大化するように報酬を設計することにより、支配戦略インcentive compatibilityを確保する。
• 真実報告時に参加者が非負の期待効用を得ることを保証することで、個々の合理性を維持する。

実験結果

リサーチクエスチョン

• RQ1 現実的な報酬差の仮定の下で、決定的で支配戦略インcentive-compatibleなMABメカニズムは、Tの多項式より小さいレグRETを達成可能か？
• RQ2 最小区別可能な報酬差Δが既知で固定されている場合、レグRETの根本的限界は何か？
• RQ3 ΔレグRETの導入により、従来のΩ(T^{2/3})レグRETバインディングをどのように改善できるか？
• RQ4 UCBに基づくメカニズムを、真実性と個々の合理性を保証しつつ、対数的レグRETを達成できるように適合可能か？
• RQ5 スポンサーリンクのような実用的応用において、ΔレグRETフレームワークは顕著な改善をもたらすか？

主な発見

• 提案されたΔ-UCBメカニズムは、既存の決定論的MABメカニズムのΩ(T^{2/3})レグRETに比べ、O(log T)のΔレグRETを達成する。
• メカニズムは支配戦略インcentive-compatible（DSIC）であり、すべての参加者が他の参加者の行動にかかわらず、真実報告が最適であることを保証する。
• メカニズムは個々の合理性を維持しており、真実報告を行う参加者に非負の期待効用が保証される。
• Δを解像度パラメータとして導入することで、従来の研究で高レグRETを引き起こす最悪ケースのT依存的差を回避する。
• ΔレグRETフレームワークはスポンサーリンクに限らず、クラウドソーシングやオンライン調達など他の応用にも拡張可能である。
• 実際の環境では報酬差が恣意的に小さくならないことから、レグRETが多項式的ではなく対数的であることが実証された。