[논문 리뷰] A Dominant Strategy Truthful, Deterministic Multi-Armed Bandit Mechanism with Logarithmic Regret

Divya Padmanabhan, Satyanath Bhat외 3명|arXiv (Cornell University)|2017. 05. 08.

Advanced Bandit Algorithms Research참고 문헌 4인용 수 1

한 줄 요약

이 논문은 보상 간의 최소 구별 가능 차이를 캡처하는 해상도 파라미터 Δ를 도입함으로써, 스폰서드 서치 광고에서 O(log T) Δ-리그레트를 달성하는 결정론적, 지배 전략 진실성 보장 다수의 랜드마크 밴딧 메커니즘인 Δ-UCB를 제안한다. 이전 메커니즘들이 Ω(T^{2/3}) 리그레트를 보이는 것과 달리, Δ-UCB는 현실적인 보상 분리 정보를 활용하여 리그레트를 크게 감소시키면서도 인cent리브 호환성과 개인 합리성을 유지한다.

ABSTRACT

Stochastic multi-armed bandit (MAB) mechanisms are widely used in sponsored search auctions, crowdsourcing, online procurement, etc. Existing stochastic MAB mechanisms with a deterministic payment rule, proposed in the literature, necessarily suffer a regret of Ω(T2/3), where T is the number of time steps. This happens because the existing mechanisms consider the worst case scenario where the means of the agents' stochastic rewards are separated by a very small amount that depends on T. We make, and, exploit the crucial observation that in most scenarios, the separation between the agents' rewards is rarely a function of T. Moreover, in the case that the rewards of the arms are arbitrarily close, the regret contributed by such sub-optimal arms is minimal. Our idea is to allow the center to indicate the resolution, Δ, with which the agents must be distinguished. This immediately leads us to introduce the notion of Δ-Regret. Using sponsored search auctions as a concrete example (the same idea applies for other applications as well), we propose a dominant strategy incentive compatible (DSIC) and individually rational (IR), deterministic MAB mechanism, based on ideas from the Upper Confidence Bound (UCB) family of MAB algorithms. Remarkably, the proposed mechanism Δ-UCB achieves a Δ-regret of O(log T) for the case of sponsored search auctions.

연구 동기 및 목표

• 기존 결정론적 MAB 메커니즘의 높은 리그레트 문제를 해결하기 위해, 최악의 경우 보상 분리로 인해 Ω(T^{2/3}) 리그레트를 겪는 스트로스틱 설정에서의 문제를 다루는 것.
• 실제로 보상 분리가 거의 T에 의존하지 않으며, 최악의 경우 가정이 지나치게 낙관적이므로 이를 인지하는 것.
• Δ가 최소 구별 가능 보상 차이를 정의하는 바, 더 현실적인 성능 한계를 가능하게 하는 Δ-리그레트 개념을 도입하는 것.
• 실제 보상 분리 조건 하에서 낮은 리그레트를 달성하면서도 지배 전략 인센티브 호환성(DSIC)과 개인 합리성(IR)을 유지하는 메커니즘을 설계하는 것.
• 수정된 UCB 접근 방식을 사용하여 스폰서드 서치 광고에서 O(log T) Δ-리그레트가 달성될 수 있음을 보여주는 것.

제안 방법

• 리그레트가 해상도 Δ에 상대적으로 측정되는 Δ-리그레트의 개념을 도입하며, 이는 메커니즘이 보상 간의 최소 차이를 식별해야 하는 정도를 의미한다.
• 수정된 상한 신뢰도(Upper Confidence Bound, UCB) 알고리즘을 사용하는 결정론적 메커니즘을 정의하며, 이는 진실성과 개인 합리성을 보장하도록 조정된다.
• 중앙 기관이 Δ를 파라미터로 설정할 수 있도록 허용하여, 보상 기대값 간의 구별에 필요한 정밀도를 반영한다.
• 신뢰 구간을 Δ에 비례하게 스케일링하여, Δ 미만의 보상 차이를 가지는 암들은 기여하는 리그레트가 근본적으로 무시할 수 있도록 보장한다.
• 진술된 보상이 다른 이들의 보고에 관계없이 항상 기대 유용성을 최대화하도록 지불을 설계함으로써 지배 전략 인센티브 호환성을 확보한다.
• 진술이 진실일 경우 기대 유용성이 음수가 되지 않도록 보장함으로써 개인 합리성을 유지한다.

실험 결과

연구 질문

• RQ1 실제 보상 분리 조건 하에서 T에 대한 다항식 이하의 리그레트를 달성할 수 있는 결정론적, 지배 전략 진실성 보장 MAB 메커니즘은 존재하는가?
• RQ2 최소 구별 가능 보상 차이 Δ가 알려져 있고 고정되어 있을 경우, 리그레트의 기본 한계는 무엇인가?
• RQ3 Δ-리그레트의 도입이 기존 메커니즘의 Ω(T^{2/3}) 리그레트 한계를 어떻게 향상시키는가?
• RQ4 UCB 기반 메커니즘은 어떻게 진실성과 개인 합리성을 보장하면서도 로그 리그레트를 달성하도록 적응시킬 수 있는가?
• RQ5 스폰서드 서치와 같은 실질적 환경에서 Δ-리그레트 프레임워크는 어떤 정도의 향상을 가져오는가?

주요 결과

• 제안된 Δ-UCB 메커니즘은 기존 결정론적 MAB 메커니즘의 Ω(T^{2/3}) 리그레트에 비해 O(log T) Δ-리그레트를 달성하여 뚜렷한 성능 향상을 이룬다.
• 메커니즘은 지배 전략 인센티브 호환성(DSIC)을 유지하여, 다른 이들의 행동에 관계없이 모든 기관이 진실로 보고하는 것이 최적임을 보장한다.
• 메커니즘은 개인 합리성을 유지하여, 진실로 보고하는 기관이 음수가 아닌 기대 유용성을 확보한다.
• Δ를 해상도 파라미터로 도입함으로써, 이전 연구에서 고려된 최악의 T-의존적 분리로 인한 높은 리그레트를 피할 수 있다.
• Δ-리그레트 프레임워크는 스폰서드 서치를 넘어서 캄프티셔닝 및 온라인 조달과 같은 다른 응용 분야로도 확장 가능하다.
• 결과적으로, 보상 차이가 임의로 작지 않은 실질적 환경에서는 리그레트가 다항식이 아니라 로그 수준이 될 수 있음을 입증한다.