[논문 리뷰] Thompson Sampling for the MNL-Bandit

Shipra Agrawal, Vashist Avadhanula외 2명|arXiv (Cornell University)|2017. 06. 03.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 24

한 줄 요약

이 논문은 다중 로짓 선택 모델의 미지 파라미터 하에서 누적 보상을 최대화하기 위해 K개의 항목 중 N개에서 선택하는 MNL-Bandit 문제를 위한 톰슨 샘플링 기반 알고리즘을 제안한다. 이 방법은 치환 효과가 있는 조합적 밴딧 피드백 환경에 톰슨 샘플링을 적응시켜 근사 최적의 리그레트 한계를 달성하며, 이론적으로 리그레트 최적성과 뛰어난 경험적 성능을 입증한다.

ABSTRACT

We consider a sequential subset selection problem under parameter uncertainty, where at each time step, the decision maker selects a subset of cardinality $K$ from $N$ possible items (arms), and observes a (bandit) feedback in the form of the index of one of the items in said subset, or none. Each item in the index set is ascribed a certain value (reward), and the feedback is governed by a Multinomial Logit (MNL) choice model whose parameters are a priori unknown. The objective of the decision maker is to maximize the expected cumulative rewards over a finite horizon $T$, or alternatively, minimize the regret relative to an oracle that knows the MNL parameters. We refer to this as the MNL-Bandit problem. This problem is representative of a larger family of exploration-exploitation problems that involve a combinatorial objective, and arise in several important application domains. We present an approach to adapt Thompson Sampling to this problem and show that it achieves near-optimal regret as well as attractive numerical performance.

연구 동기 및 목표

• 치환 효과가 존재하는 상황에서 다중 로짓(MNL) 모델에 따라 사용자 선택이 이루어지는 파라미터 불확실성 하의 순차적 부분집합 선택 문제를 다루기 위해.
• MNL 피드백이 있는 조합적 밴딧 환경에서 탐색과 이용을 효율적으로 균형 잡는 톰슨 샘플링 기반 알고리즘을 설계하기 위해.
• 행동 공간의 지수적 크기에도 불구하고 MNL-Bandit 문제에 대해 근사 최적의 이론적 리그레트 한계를 확립하기 위해.
• 수치적 검증을 통해 알고리즘의 뛰어난 수치 성능을 입증하고, 전통적인 UCB 기반 방법에 비해 실용적 우수성을 강조하기 위해.
• 표준 다중 손실 밴딧을 초월해 구조적 피드백이 있는 조합 최적화 문제에 톰슨 샘플링을 일반화하기 위해.

제안 방법

• MNL 파라미터에 대한 사후 분포를 유지하고 이를 샘플링하여 K개 항목의 부분집합을 선택함으로써 톰슨 샘플링을 MNL-Bandit에 적응시킴.
• 제안된 번들에서 사용자 선택(클릭 또는 선택)의 관측된 피드백 기반으로 항목 가치의 추정치를 개선하기 위해 베이지안 업데이트 메커니즘을 사용함.
• 사후 샘플링 과정에서 추정 오차를 통제하기 위해 농도 불등식 및 尾尾 확률 한계(예: 허프딩 유형 및 케르노프 유형)를 적용함.
• 우도 함수의 로그 항목에 대한 테일러 급수 근사법을 사용하여 추정된 항목 가치에 대한 고확률 신뢰구간을 유도함.
• 추정된 가치가 진정된 가치에서 벗어나지 않을 확률을 제한하기 위한 새로운 분석 프레임워크를 도입함으로써 리그레트 분석을 가능하게 함.
• 각 항목의 샘플링 빈도와 발생하는 추정 오차 사이의 연결 고리를 확립하여 충분한 탐색을 보장함.

실험 결과

연구 질문

• RQ1 치환 효과가 존재하는 조합적 행동 집합과 밴딧 피드백이 있는 MNL-Bandit 문제에 대해 톰슨 샘플링을 효과적으로 적응시킬 수 있는가?
• RQ2 제안된 톰슨 샘플링 변형의 이론적 리그레트 성능은 MNL-Bandit 환경에서 어떻게 되는가?
• RQ3 항목 간 치환 효과가 존재하는 상황에서 알고리즘은 탐색과 이용을 어떻게 균형 잡는가?
• RQ4 N개 항목 중 K개 항목의 부분집합을 선택하는 조합적 복잡도에도 불구하고 이 방법이 근사 최적의 리그레트 한계를 달성할 수 있는가?
• RQ5 MNL 기반 선택 피드백을 처리하기 위해 조합적 밴딧에서 톰슨 샘플링에 필요한 핵심 구조적 적응은 무엇인가?

주요 결과

• 제안된 톰슨 샘플링 알고리즘은 고확률적으로 O(log T) 순서의 리그레트 한계를 달성하며, 이는 로그 인자 외에는 이론적 하한선과 일치한다.
• 모든 항목의 가치에 대한 큰 추정 오차 발생 확률이 O(1/ρ^m) 이하로 제한되어 엄밀한 신뢰구간을 가능하게 한다.
• 분석 결과, 알고리즘이 각 항목을 충분히 자주 샘플링하여 추정 오차를 감소시키도록 하여 충분한 탐색을 유지함을 보여준다.
• 추정된 가치가 진정된 가치에서 벗어나지 않을 확률에 대한 고확률적 한계를 도출함: Pr(|v̂_i(ℓ) − v_i| < √(16v̂_i(ℓ)(v̂_i(ℓ)+1)log(ρ+1))/n_i(ℓ)) ≥ 1 − 3/ρ^m.
• 작은 추정 오차의 경우, v_i ≤ 1일 때 이는 Pr(|v̂_i(ℓ) − v_i| < √(12v_i log(ρ+1))/n_i(ℓ)) ≥ 1 − 3/ρ^m로 단순화된다.
• 알고리즘의 성능은 다양한 파라미터 설정에서도 강인하며, 항목 가치가 유계일 경우에도 이론적 보장이 유지된다.