[논문 리뷰] Tighter Regret Bounds for Influence Maximization and Other Combinatorial Semi-Bandits with Probabilistically Triggered Arms.

Qinshi Wang, Wei Chen|arXiv (Cornell University)|2017. 03. 05.

Advanced Bandit Algorithms Research인용 수 3

한 줄 요약

이 논문은 조합적 다익음 띠트 밴딧(CMAB-T)의 회귀 한계에서 기존에 피할 수 없었던 $1/p^*$ 요소를 제거하기 위해, 촉발 확률에 의해 조절되는(Triggering Probability Modulated, TPM) 유한한 부드러움 조건을 도입함으로써 임계한 결함을 해결한다. 이 방법은 영향력 확산 및 캐스케ading 밴딧 문제에서 훨씬 더 날카운 회귀 한계를 달성하며, 이론적 하한선을 통해 $1/p^*$ 요소가 이러한 조건이 없이선 피할 수 없다는 것을 확인한다.

ABSTRACT

We study combinatorial multi-armed bandit with probabilistically triggered arms (CMAB-T) and semi-bandit feedback. We resolve a serious issue in the prior CMAB-T studies where the regret bounds contain a possibly exponentially large factor of $1/p^*$, where $p^*$ is the minimum positive probability that an arm is triggered by any action. We address this issue by introducing a triggering probability modulated (TPM) bounded smoothness condition into the general CMAB-T framework, and show that many applications such as influence maximization bandit and combinatorial cascading bandit satisfy this TPM condition. As a result, we completely remove the factor of $1/p^*$ from the regret bounds, achieving significantly better regret bounds for influence maximization and cascading bandits than before. Finally, we provide lower bound results showing that the factor $1/p^*$ is unavoidable for general CMAB-T problems, suggesting that the TPM condition is crucial in removing this factor.

연구 동기 및 목표

• 조합적 다익음 띠트 밴딧(CMAB-T)의 기존 회귀 한계에서 $1/p^*$에 대한 지수적 의존성 문제를 해결하기 위해.
• 회귀 한계에서 $1/p^*$ 요소를 제거할 수 있는 조건을 규명하여 실용적 응용에서 성능 향상을 이끌어내기 위해.
• $1/p^*$ 요소가 일반적인 CMAB-T 문제에서 피할 수 없다는 것을 입증하여, TPM 조건과 같은 구조적 가정의 필요성을 정당화하기 위해.
• 영향력 확산 및 조합적 캐스케ading 밴딧과 같은 핵심 응용 분야가 TPM 조건을 충족함을 보여주어, 더 날카운 회귀 보장을 가능하게 하기 위해.

제안 방법

• 일반적인 CMAB-T 프레임워크를 정교화하기 위해 새로운 촉발 확률에 의해 조절되는(Triggering Probability Modulated, TPM) 유한한 부드러움 조건을 도입한다.
• 영향력 확산 밴딧 및 조합적 캐스케ading 밴딧 문제에서 TPM 조건이 성립함을 보여주어, 향상된 회귀 분석이 가능하도록 한다.
• 기존 분석에서 존재하던 $1/p^*$ 요소를 완전히 제거한 TPM 조건 하에서의 회귀 한계를 유도한다.
• 확률적 촉발 메커니즘을 고려한 새로운 부드러움 분석을 통해 더 날카운 농도 한계를 이끌어낸다.
• 일반적인 CMAB-T 문제에서 $1/p^*$ 요소가 피할 수 없다는 하한선을 설정하여, TPM 조건의 필요성을 입증한다.

실험 결과

연구 질문

• RQ1 합리적인 가정 하에서 CMAB-T의 회귀 한계에서 $1/p^*$ 요소를 제거할 수 있는가?
• RQ2 촉발 메커니즘에 대한 어떤 구조적 조건이 $1/p^*$ 요소의 제거를 가능하게 하는가?
• RQ3 실세계 응용 분야인 영향력 확산 및 캐스케ading 밴딧이 제안된 TPM 조건을 충족하는가?
• RQ4 일반적인 CMAB-T 문제에서 $1/p^*$ 요소는 진정으로 피할 수 없는가, 아니면 더 강력한 가정을 통해 회피할 수 있는가?

주요 결과

• 제안된 TPM 유한한 부드러움 조건은 CMAB-T의 회귀 한계에서 $1/p^*$ 요소를 성공적으로 제거하여 훨씬 더 날카운 성능 보장을 이끌어낸다.
• 영향력 확산 밴딧 및 조합적 캐스케ading 밴딧 문제 모두 TPM 조건을 충족하여, $1/p^*$ 요소 없이도 향상된 회귀 한계를 달성할 수 있다.
• 논문은 일반적인 CMAB-T 문제에서 $1/p^*$ 요소가 피할 수 없다는 하한선을 설정하여, TPM 조건의 필요성을 입증한다.
• 새로운 회귀 한계는 이전 결과보다 엄밀히 더 낫다. 특히 $p^*$가 작은 설정에서는 이전의 한계가 너무 느슨하여 실용적으로 적용하기 어려웠다.