[논문 리뷰] Regret in Online Combinatorial Optimization

Jean-Yves Audibert, Sébastien Bubeck외 1명|arXiv (Cornell University)|2012. 04. 20.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 5

한 줄 요약

이 논문은 해밍 무게가 고정된 이진 벡터로 구성된 행동을 갖는 온라인 조합 최적화에서의 손실을 분석한다. 새로운 미러 디센트와 INF 전략의 조합을 통해 반-밴디트 피드백 모델에서 최적의 손실 경계를 확립하며, 전체 정보 설정에서 지수 가중 평균 예측자가 최적임을 보여주지 못하고, 밴디트 설정에서 최적의 손실에 대한 추측을 제기한다.

ABSTRACT

We address online linear optimization problems when the possible actions of the decision maker are represented by binary vectors. The regret of the decision maker is the difference between her realized loss and the best loss she would have achieved by picking, in hindsight, the best possible action. Our goal is to understand the magnitude of the best possible (minimax) regret. We study the problem under three different assumptions for the feedback the decision maker receives: full information, and the partial information models of the so-called "semi-bandit" and "bandit" problems. Combining the Mirror Descent algorithm and the INF (Implicitely Normalized Forecaster) strategy, we are able to prove optimal bounds for the semi-bandit case. We also recover the optimal bounds for the full information setting. In the bandit case we discuss existing results in light of a new lower bound, and suggest a conjecture on the optimal regret in that case. Finally we also prove that the standard exponentially weighted average forecaster is provably suboptimal in the setting of online combinatorial optimization.

연구 동기 및 목표

• 고정된 카디널리티를 갖는 이진 행동에 대한 온라인 선형 최적화에서의 최소 최대 손실을 이해하는 것.
• 조합 설정에서 전체 정보, 반-밴디트, 밴디트 피드백 모델 간의 성능 격차를 분석하는 것.
• 특히 지수 가중 평균 예측자와 같은 기존 예측 전략의 최적성을 평가하는 것.
• 미러 디센트와 INF 전략을 융합한 새로운 접근을 통해 반-밴디트 모델에 대한 최초의 최적 손실 경계를 확립하는 것.
• 새로운 하한을 기반으로 하여 밴디트 피드백 모델에서의 최적 손실에 대한 추측을 제안하는 것.

제안 방법

• 행동가 {0,1}^d 이며 l1-노름이 m로 고정된 온라인 선형 최적화 프레임워크를 사용한다.
• 세 가지 피드백 모델을 분석한다: 전체 정보(보기: z_t), 반-밴디트(보기: a_t(i)z_t(i)), 밴디트(보기: a_t^T z_t).
• 브레그만 발산을 사용한 미러 디센트를 적용하여 피드백 구조에 적응하는 전략을 설계한다.
• 미러 디센트를 INF(암시적 정규화 예측자) 전략과 융합하여 반-밴디트 모델에서 최적의 손실을 달성한다.
• 기존 상한의 날카러움을 평가하기 위해 밴디트 설정에 대한 새로운 하한을 유도한다.
• 카우프만-라이블러 발산과 농도 부등식을 사용하여 손실과 분포 간의 발산을 분석한다.

실험 결과

연구 질문

• RQ1 온라인 조합 최적화에서 전체 정보 피드백 하에서 지수 가중 평균 예측자는 최적인가?
• RQ2 통합 전략이 조합 행동에 대해 반-밴디트 피드백 모델에서 최적의 손실을 달성할 수 있는가?
• RQ3 고정 무게 행동을 갖는 조합 최적화에서 밴디트 피드백 모델에서 달성 가능한 최소 최대 손실은 무엇인가?
• RQ4 피드백 구조(완전, 반-밴디트, 밴디트)가 조합 온라인 학습에서 손실의 기본 한계에 어떻게 영향을 미치는가?
• RQ5 밴디트 모델에 대한 새로운 하한은 최적의 손실 스케일링을 규명하는 데 도움이 될 수 있는가?

주요 결과

• 지수 가중 평균 예측자는 온라인 조합 최적화의 전체 정보 설정에서 증명적으로 최적이 아니다.
• 미러 디센트와 INF 전략을 융합한 새로운 접근을 통해 반-밴디트 모델에 대한 최초의 최적 손실 경계가 확립되었다.
• 반-밴디트 모델의 손실 경계는 n라운드, d차원, 크기가 m인 행동을 고려할 때 O(√(m n log d))이다.
• 밴디트 모델에 대한 새로운 하한은 최적의 손실이 Ω(√(m n log d))로 스케일할 수 있음을 시사하며, 기존 상한과 로그 인자 외에는 일치한다.
• 논문은 밴디트 모델에서 최적의 손실이 Θ(√(m n log d))일 것이라 추측하며, 이는 하한과 기존 상한과 일치한다.