[논문 리뷰] Online Learning for Min Sum Set Cover and Pandora's Box

Evangelia Gergatsouli, Christos Tzamos|arXiv (Cornell University)|2022. 02. 10.

Advanced Bandit Algorithms Research인용 수 5

한 줄 요약

이 논문은 공격적인 값 실현 조건 하에서 최소 합집합 커버 문제와 판도라 상자 문제에 대한 계산적으로 효율적인 온라인 학습 프레임워크를 제안한다. 볼록 근사화, 온라인 볼록 최적화, 랜덤화된 반올림 기법을 활용하여, 관측된 값들만 제공되는 밴딧 설정에서도 낮은 리그레트를 유지하면서 일정 경쟁률 알고리즘을 달성한다. 이는 기존 연구를 매트로이드 제약 조건과 일반화된 경우로 확장한 것이다.

ABSTRACT

Two central problems in Stochastic Optimization are Min Sum Set Cover and Pandora's Box. In Pandora's Box, we are presented with $n$ boxes, each containing an unknown value and the goal is to open the boxes in some order to minimize the sum of the search cost and the smallest value found. Given a distribution of value vectors, we are asked to identify a near-optimal search order. Min Sum Set Cover corresponds to the case where values are either 0 or infinity. In this work, we study the case where the value vectors are not drawn from a distribution but are presented to a learner in an online fashion. We present a computationally efficient algorithm that is constant-competitive against the cost of the optimal search order. We extend our results to a bandit setting where only the values of the boxes opened are revealed to the learner after every round. We also generalize our results to other commonly studied variants of Pandora's Box and Min Sum Set Cover that involve selecting more than a single value subject to a matroid constraint.

연구 동기 및 목표

• 값 벡터가 T라운드 동안 공격적으로 선택되는 상황에서 최소 합집합 커버 문제와 판도라 상자 문제에 대한 리그레트가 없는 온라인 학습 알고리즘을 설계하기 위해.
• 사전에 알려지지 않은 분포를 가정하는 비스티ochastic 설정으로 기존의 확률적 최적화 결과를 확장하기 위해.
• 각 라운드 후에 열린 상자들에 대한 값들만 공개되는 밴딧 버전의 알고리즘을 개발하기 위해.
• 선택된 k개의 항목 또는 랭크-k 매트로이드 기저를 포함한 매트로이드 제약 조건으로 접근 방식을 일반화하기 위해.
• 근사 비율과 최적 정책에 대한 리그레트가 유한한 계산적으로 효율적인 알고리즘을 달성하기 위해.

제안 방법

• 각 라운드에 대해 정수계획법의 볼록 근사화로 문제를 재구성하여 온라인 최적화를 가능하게 한다.
• 분수 해를 낮은 리그레트로 계산하기 위해 온라인 볼록 최적화를 적용한다.
• 두 단계 반올림 절차를 사용한다: 먼저 확률이 높은 상자를 열고, 그 다음에 분수 해 값에 기반해 확률이 낮은 상자들 중에서 확률적으로 선택한다.
• 비용 대 최적 비용 비율에 기반한 임계값 설정을 도입하여 고비용 상자들을 걸러내고 값 선택 비용을 줄인다.
• 선형 부등식을 통한 랭크 제약 조건을 통해 LP 근사화에서 매트로이드 탈리티를 보장한다.
• 확률적 분석을 통해 기대 검색 비용의 상한을 도출하여, 매트로이드 제약 조건 하에서 이 비용이 k에 대해 로그 스케일링으로 증가함을 보여준다.

실험 결과

연구 질문

• RQ1 값 벡터가 확률적으로 추출되는 것이 아니라 공격적으로 선택되는 상황에서 최소 합집합 커버 문제와 판도라 상자 문제에 대해 일정 경쟁률 온라인 알고리즘을 설계할 수 있는가?
• RQ2 값이 열린 상자들만 공개되는 밴딧 피드백 설정에서도 알고리즘이 낮은 리그레트를 유지할 수 있는가?
• RQ3 이 프레임워크는 랭크-k 기저나 k개의 서로 다른 항목을 선택하는 것과 같은 매트로이드 제약 조건을 처리할 수 있도록 확장될 수 있는가?
• RQ4 부분적으로 적응 가능한 정책에 대비하여 온라인 학습 알고리즘이 달성할 수 있는 근사 비율은 무엇인가?
• RQ5 부분적인 피드백만 제공될 경우 성능은 어떻게 떨어지며, 여전히 일정 또는 로그 스케일 근사 비율을 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 온라인 판도라 상자 문제에서 단일 상자를 선택할 경우 9.22-근사 리그레트 보장을 달성한다.
• k개의 서로 다른 상자를 선택할 경우, 알고리즘은 k에 관계없이 O(1)-근사 리그레트 해를 달성한다.
• 랭크-k 매트로이드 기저를 선택할 경우, 알고리즘은 O(log k)-근사 리그레트 해를 달성한다.
• 밴딧 설정에서도 프레임워크가 효과를 유지하며, 동일한 근사 보장을 유지한다.
• 알고리즘은 계산적으로 효율적이며, 최적의 근사 비율에 거의 도달한다. 특히 최소 합집합 커버 문제의 특수 케이스에서 상수 요소를 초월하는 개선은 NP-난이도이기 때문이다.
• 반올림 과정을 통해 공격적인 피드백 조건 하에서도 값 선택의 기대 비용이 최적 비용의 O(log k) 배 이내로 제한됨을 보장한다.