[논문 리뷰] Combinatorial Bandits with Relative Feedback

Aadirupa Saha, Aditya Gopalan|ePrints@IISc (Indian Institute of Science)|2019. 03. 01.

Advanced Bandit Algorithms Research인용 수 8

한 줄 요약

이 논문은 다항 로짓(MNL) 선택 모델 하에서 상대적 피드백을 가진 조합적 밴디트 문제에 대해 인스턴스 최적의 UCB 기반 알고리즘을 제안한다. 최대-최소 부분집합 구성 규칙과 경량 쌍별 추정을 도입하여 상위-$m$ 순위 피드백의 경우 $O(n/m \ln T)$의 순서 최적의 리그레트를 달성하고, 전체 순위 피드백의 경우 $O\big((n-k)\ln T / (k\Delta_{(k)})\big)$의 리그레트를 달성한다. 또한 날카운드 하한을 증명하고 더 풍부한 피드백을 통해 향상된 성능을 보여준다.

ABSTRACT

We consider combinatorial online learning with subset choices when only relative feedback information from subsets is available, instead of bandit or semi-bandit feedback which is absolute. Specifically, we study two regret minimisation problems over subsets of a finite ground set $[n]$, with subset-wise relative preference information feedback according to the Multinomial logit choice model. In the first setting, the learner can play subsets of size bounded by a maximum size and receives top-$m$ rank-ordered feedback, while in the second setting the learner can play subsets of a fixed size $k$ with a full subset ranking observed as feedback. For both settings, we devise instance-dependent and order-optimal regret algorithms with regret $O(\frac{n}{m} \ln T)$ and $O(\frac{n}{k} \ln T)$, respectively. We derive fundamental limits on the regret performance of online learning with subset-wise preferences, proving the tightness of our regret guarantees. Our results also show the value of eliciting more general top-$m$ rank-ordered feedback over single winner feedback ($m=1$). Our theoretical results are corroborated with empirical evaluations.

연구 동기 및 목표

• 절대 보상 대신 상대적이고 순서 기반 피드백을 가진 조합적 온라인 학습 문제를 다루기 위해.
• 서브셋 관측 시 상위-$m$ 순위 또는 전체 순위만 관측 가능한 경우 리그레트를 최소화하기 위해.
• 조합적 폭발을 피하기 위해 MNL 모델의 구조를 활용하는 효율적인 알고리즘 설계를 위해.
• 기본적인 하한을 설정하고 제안된 알고리즘의 순서 최적성(순서 최적)을 증명하기 위해.
• 합성 MNL 환경에서 이론적 결과의 실증적 검증을 위해.

제안 방법

• 유의미한 서브셋을 선택하기 위해 새로운 최대-최소 부분집합 구성 규칙을 가진 UCB 기반 알고리즘을 제안한다.
• 상위-$m$ 순위에서 피드백을 추출하기 위해 Rank-Breaking을 사용하여 $O(n^2)$의 쌍별 선호도 추정치를 유지한다.
• 탐색과 이용의 균형을 이루기 위해 쌍별 선호도 추정치 $p_{ij}$에 대한 신뢰 구간 $c_{ij}(t)$를 사용한다.
• 전체 순위 피드백이 있는 고정 크기 서브셋 선택을 위해 재귀적 변형(Rec-MaxMin-UCB)을 도입한다.
• 부적절한 항목 교체를 제한하고 리그레트를 통제하기 위해 포화 단계 분석을 활용한다.
• 집중 부등식을 통해 리그레트 하한을 유도하고 MNL 모델의 구조를 활용하여 인스턴스에 의존적인 최적성을 달성한다.

실험 결과

연구 질문

• RQ1 상대적 피드백만 존재하는 조합적 밴디트 문제에 대해 효율적인 리그레트 최소화 알고리즘을 설계할 수 있는가?
• RQ2 상위-$m$ 순위 피드백의 길이가 기본적인 리그레트 한계에 어떤 영향을 미치는가?
• RQ3 전체 서브셋 순위가 관측될 경우 달성 가능한 최적의 리그레트는 무엇인가?
• RQ4 MNL 모델의 구조를 활용하여 리그레트의 조합적 폭발을 피할 수 있는가?
• RQ5 제안된 알고리즘이 순서 최적인지, 그리고 일치하는 하한을 통해 이를 증명할 수 있는가?

주요 결과

• 제안된 알고리즘은 상위-$m$ 순위 피드백의 경우 인스턴스에 의존적인 리그레트 $O(n/m \ln T)$를 달성하며, 이는 순서 최적이다.
• 리그레트 하한은 최대 서브셋 크기 $k$에 무관하며, 피드백 길이 $m$에 따라만 향상된다.
• 고정 크기 서브셋($k$ 크기)의 경우 알고리즘은 $O\big((n-k)\ln T / (k\Delta_{(k)})\big)$의 리그레트를 달성하며, 유도된 하한과 일치한다.
• 고정 크기 케이스의 하한은 $\Omega\big((n-k)\ln T / (k\Delta_{(k)})\big)$이며, 이는 상한의 날카운드 성질을 증명한다.
• $n=16$ 및 $n=50$인 MNL 모델에서의 실증 평가 결과, 더 풍부한 피드백을 통해 이론적 성능 향상이 확인되었다.
• 분석 결과, 상위-$m$ 피드백은 단일 승자 피드백($m=1$)보다 엄밀히 우수하며, 리그레트에 다중적 개선이 이루어진다.