[논문 리뷰] Adversarial Combinatorial Bandits with General Non-linear Reward Functions

Xi Chen, Yanjun Han외 1명|arXiv (Cornell University)|2021. 01. 05.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 6

한 줄 요약

이 논문은 일반적인 비선형 보상 함수를 가진 적대적 조합 밴딧에서 최소 최대 손실을 규명하여, 보상 함수가 차수 $d < K$인 저차수 다항함수일 경우 손실이 $\widetilde{\Theta}_d(\sqrt{N^dT})$ 스케일링됨을 보이며, 그 외의 경우 $\Theta_K(\sqrt{N^KT})$임을 밝혀낸다. 결과는 선형과 비선형 보상 구조 사이에 본질적인 격차가 있음을 시사하며, 이는 비선형 함수가 부분집합 간 상관관계를 활용하는 것을 방해함을 의미한다.

ABSTRACT

In this paper we study the adversarial combinatorial bandit with a known non-linear reward function, extending existing work on adversarial linear combinatorial bandit. {The adversarial combinatorial bandit with general non-linear reward is an important open problem in bandit literature, and it is still unclear whether there is a significant gap from the case of linear reward, stochastic bandit, or semi-bandit feedback.} We show that, with $N$ arms and subsets of $K$ arms being chosen at each of $T$ time periods, the minimax optimal regret is $\widetildeΘ_{d}(\sqrt{N^d T})$ if the reward function is a $d$-degree polynomial with $d&lt; K$, and $Θ_K(\sqrt{N^K T})$ if the reward function is not a low-degree polynomial. {Both bounds are significantly different from the bound $O(\sqrt{\mathrm{poly}(N,K)T})$ for the linear case, which suggests that there is a fundamental gap between the linear and non-linear reward structures.} Our result also finds applications to adversarial assortment optimization problem in online recommendation. We show that in the worst-case of adversarial assortment problem, the optimal algorithm must treat each individual $\binom{N}{K}$ assortment as independent.

연구 동기 및 목표

• 비선형 보상 함수를 가진 적대적 조합 밴딧에서 최소 최대 손실을 특성화하는 것 — 밴딧 문헌에서 오랫동안 미해결된 문제.
• 비선형 보상 함수가 선형 또는 스토케스틱 설정과 비교해 정보 이론적 복잡도에 본질적인 영향을 미치는지 여부를 규명하는 것.
• 보상 함수의 차수에 따라 의존하는 날카운 손실 경계를 확립하는 것 — 특히 저차수 다항함수와 고차수 또는 비다항함수 간의 구분.
• 이 경계들이 광범위한 응용 분야, 예를 들어 다항 로짓 모델 하에서의 적대적 어셈블리 최적화에 미치는 영향을 보여주는 것.

제안 방법

• 저자들은 보상 벡터에 대한 적대적 분포를 정교하게 구성하여 최소 최대 손실 하한을 유도하며, 임계점 주변에서 보상 함수의 행동을 분석하기 위해 대칭성과 테일러 전개 기법을 활용한다.
• 다변수 테일러 전개와 다중지표 표기법을 사용하여 집합된 암호의 도함수 $g$를 분석하고, 고차수 도함수가 사라지는 조건을 규명한다.
• 핵심 기술적 단계는 특정 선형 제약 조건을 만족하는 영이 아닌 벡터 $\lambda$가 존재할 수 없다는 것을 증명하는 것으로, 이는 함수의 곡률의 비퇴화성(비기하학적 퇄화성)을 증명하고 하한을 확립한다.
• 분석은 $g$가 차수 $d < K$인 다항함수인지 여부에 따라 구분되며, 기능의 구조에 따라 하한을 구성하는 데 다른 접근 방식을 사용한다.
• 비다항 또는 고차수 다항함수의 경우, 하한 구성은 $K$개의 암호 조합을 각각 독립적으로 취급하므로, 부분집합 간 상관관계를 이용할 수 없음을 시사한다.
• 상한은 선형 밴딧 설정에서 알려진 알고리즘으로의 환원을 통해 유도되며, 비선형 구조를 고려해 조정되었지만 주요 기여는 날카운 하한에 있다.

실험 결과

연구 질문

• RQ1 비선형 보상 함수를 가진 적대적 조합 밴딧에서 $\widetilde{O}(\sqrt{\mathrm{poly}(N,K)T})$의 손실을 달성할 수 있는가?
• RQ2 보상 함수의 구조 — 특히 저차수 다항함수이냐 여부 — 가 기본적인 최소 최대 손실에 영향을 미치는가?
• RQ3 보상 함수가 비선형인 경우, 알고리즘이 암호의 다양한 부분집합 간 상관관계를 활용할 수 있는가?
• RQ4 다항 로짓 모델 하에서의 적대적 어셈블리 최적화에 대한 최소 최대 손실은 무엇인가?
• RQ5 보상 함수가 다항함수가 아니거나 차수 $\geq K$일 경우 손실은 어떻게 스케일링되는가?

주요 결과

• 보상 함수 $g$가 $d < K$인 $d$차수 다항함수일 경우 최소 최대 손실은 $\widetilde{\Theta}_d(\sqrt{N^dT})$이며, 일반적인 경우보다 상당한 향상이 있음을 보여준다.
• 보상 함수 $g$가 저차수 다항함수가 아닐 경우 최소 최대 손실은 $\Theta_K(\sqrt{N^KT})$이며, 이는 부분집합 간 상관관계를 이용할 수 없다는 것을 의미한다.
• 이 결과는 선형과 비선형 보상 함수 사이에 본질적인 격차가 있음을 드러내며, 선형의 경우 $\widetilde{O}(\sqrt{NT})$를 달성할 수 있고, 이는 $K > 1$일 경우 $\widetilde{O}(\sqrt{N^KT})$보다 엄격히 우수하다.
• 비다항 또는 고차수 $g$에 대한 하한 구성은 $\binom{N}{K}$개의 가능한 부분집합 각각을 독립적으로 취급해야 하므로, 상관관계 활용은 정보 이론적으로 불가능함을 시사한다.
• 결과는 다항 로짓 모델 하에서의 적대적 어셈블리 최적화에 직접 적용되며, 최악의 경우 최소 최대 손실은 $\Theta_K(\sqrt{N^KT})$이다.
• 도함수에서 유도된 선형 방정식계를 만족하는 영이 아닌 벡터 $\lambda$의 존재는 모순을 초래하며, 이는 함수의 곡률이 손실 향상을 가능하게 하는 방식으로 퇴화될 수 없다는 것을 증명한다.