[논문 리뷰] Contextual Combinatorial Conservative Bandits

Xiaojin Zhang, Shuai Li외 2명|arXiv (Cornell University)|2019. 11. 26.

Advanced Bandit Algorithms Research참고 문헌 35인용 수 4

한 줄 요약

이 논문은 에이전트가 각 라운드에서 다수의 암을 선택하면서도 즉각적인 보상 안전성을 보장하는 문맥적 조합형 보수적 밴디트를 위한 새로운 프레임워크를 제안한다. 알려진 보수적 보상과 알려지지 않은 보수적 보상의 두 가지 UCB 기반 알고리즘을 제안하며, $ ilde{O}(d^2 + d ilde{d} ilde{T})$의 리그레트 한계를 달성한다. 이는 이전 연구 대비 고차원 설정에서 더 날카러운 한계를 제공한다.

ABSTRACT

The problem of multi-armed bandits (MAB) asks to make sequential decisions while balancing between exploitation and exploration, and have been successfully applied to a wide range of practical scenarios. Various algorithms have been designed to achieve a high reward in a long term. However, its short-term performance might be rather low, which is injurious in risk sensitive applications. Building on previous work of conservative bandits, we bring up a framework of contextual combinatorial conservative bandits. An algorithm is presented and a regret bound of $ ilde O(d^2+d\sqrt{T})$ is proven, where $d$ is the dimension of the feature vectors, and $T$ is the total number of time steps. We further provide an algorithm as well as regret analysis for the case when the conservative reward is unknown. Experiments are conducted, and the results validate the effectiveness of our algorithm.

연구 동기 및 목표

• 위험 감수성 높은 적용 분야에서 특히 즉각적인 보상 안전성 보장이 부족한 조합형 및 문맥적 밴디트 설정의 문제를 해결하기 위해.
• 다수의 암을 선택하고 보상이 비선형인 맥락적 조합형 설정으로 보수적 밴디트 프레임워크를 확장하기 위해.
• 장기적 보상 최대화를 동시에 유지하면서 모든 시간 단계에서 안전성을 확보하는 계산 효율적인 알고리즘을 설계하기 위해.
• 이전의 보수적 밴디트 방법에 비해 고차원적 특징 공간에서 더 날카운 리그레트 한계를 제공하기 위해.
• 보수적 보상 임계치가 알려져 있는지 여부에 관계없이 둘 다 처리하여 실용적 구현에서의 강건성을 확보하기 위해.

제안 방법

• 에이전트가 맥락적 특징에 기반해 각 라운드에 최대 $K$개의 암을 선택하고 반응형 반복 피드백을 제공하는 맥락적 조합형 보수적 밴디트 프레임워크를 제안한다.
• 각 라운드의 예상 누적 보상에 하한을 설정함으로써 보수적 보상 제약 조건을 유지하는 UCB 기반 알고리즘(CCConUCB)을 설계한다.
• 암 집합 $A$와 맥락 $w$에 대해 비선형 보상 함수 $f(A,w)$를 사용하며, 두 가지 온건한 가정(예: 유계성 및 매끄러움성)을 만족한다.
• 초기 라운드 동안에도 선택된 암 집합의 예상 보상이 보수적 기준선의 $1-\alpha$ 이상이 되도록 보장하는 보수적 정책을 통합한다.
• 고차원적 맥락에서 더 날카운 한계 $ ilde{O}(d^2 + d ilde{T})$를 도출하기 위해 새로운 리그레트 분석 기법을 활용한다. 이는 이전의 $O(d ilde{T}\log T + (d\log d)^2)$ 한계보다 향상된 것이다.
• 기본 보상의 기준을 역사적 데이터로부터 추정함으로써 알려지지 않은 보수적 보상에 대응하기 위해 알고리즘을 수정하며, 신뢰구간을 통해 안전성을 유지한다.

실험 결과

연구 질문

• RQ1 맥락적 조합형 밴디트 알고리즘이 장기적 누적 보상을 최대화하면서도 즉각적인 보상 안전성을 유지할 수 있는가?
• RQ2 보수적 밴디트 원칙은 비선형 보상 함수를 가진 조합형 행동 집합으로 어떻게 확장될 수 있는가?
• RQ3 고차원적 맥락 설정에서 보수적 알고리즘의 이론적 리그레트 성능은 어떠한가?
• RQ4 제약 위반과 리그레트 측면에서, 비보수적 대안과 비교해 알고리즘의 성능은 어떻게 되는가?
• RQ5 보수적 계수 $\alpha$는 수렴 속도와 순수 보수적 정책을 능가하는 데 걸리는 시간에 어떤 영향을 미치는가?

주요 결과

• 제안된 CCConUCB 알고리즘은 초기 라운드 동안에도 모든 시간 단계에서 누적 보상을 보수적 기준선의 $1-\alpha$ 이상으로 유지한다.
• 알고리즘은 $ ilde{O}(d^2 + d ilde{T})$의 리그레트 한계를 달성하며, 이는 고차원 설정에서 이전 연구의 $O(d ilde{T}\log T + (d\log d)^2)$ 한계보다 더 날카럽다.
• 표준 맥락적 밴디트($K=1$)로 축소되었을 경우 리그레트 한계는 $O(d ilde{T} + d^{3/2})$가 되며, 이는 [15]의 $O(d ilde{T}\log T + (d\log d)^2)$ 결과보다 향상된다.
• 수치 시뮬레이션 결과, CCConUCB는 비보수적 UCB보다 더 낮은 리그레트를 기록하면서도 제약 위반을 피함을 보여주며, $\alpha$가 작을수록 특히 뚜렷하다.
• $\alpha$가 클수록 탐색 기회가 증가하여 알고리즘이 더 빨리 수렴하고 순수 보수적 정책을 능가하는 데 더 빠르게 도달한다.
• $\alpha$가 작을수록 탐색 빈도가 감소하고 리그레트가 더 천천히 악화되지만, 여전히 큰 제약 위반을 피함으로써 강력한 안전 보장을 보여준다.