[논문 리뷰] Online Submodular Maximization under a Matroid Constraint with Application to Learning Assignments

Daniel Golovin, Andreas Krause외 1명|arXiv (Cornell University)|2014. 07. 03.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 26

한 줄 요약

이 논문은 광고 배치 및 랭킹과 같은 동적 할당 문제에 특화된 매트로이드 제약 조건 하에서의 부분모듈러 최대화를 위한 온라인 알고리즘인 TGonline을 제안한다. 이 알고리즘은 $1 - 1/e$의 渐近적 근사 비율을 가지며, 최적의 오프라인 bound와 동일한 no-regret 성능 보장을 달성한다. 또한 OCG 알고리즘을 통해 일반적인 매트로이드 제약 조건으로 확장되며, 실제 웹 애플리케이션에서 검증되어 기존 방법에 비해 뛰어난 경험적 성능을 보였다.

ABSTRACT

Which ads should we display in sponsored search in order to maximize our revenue? How should we dynamically rank information sources to maximize the value of the ranking? These applications exhibit strong diminishing returns: Redundancy decreases the marginal utility of each ad or information source. We show that these and other problems can be formalized as repeatedly selecting an assignment of items to positions to maximize a sequence of monotone submodular functions that arrive one by one. We present an efficient algorithm for this general problem and analyze it in the no-regret model. Our algorithm possesses strong theoretical guarantees, such as a performance ratio that converges to the optimal constant of 1 - 1/e. We empirically evaluate our algorithm on two real-world online optimization problems on the web: ad allocation with submodular utilities, and dynamically ranking blogs to detect information cascades. Finally, we present a second algorithm that handles the more general case in which the feasible sets are given by a matroid constraint, while still maintaining a 1 - 1/e asymptotic performance ratio.

연구 동기 및 목표

• 광고 표시 및 정보 랭킹과 같은 감소 수익 구조를 보이는 유틸리티를 가지는 웹 애플리케이션에서의 온라인 할당 문제를 해결하기 위해.
• 완전 정보 및 밴딧 피드백 설정 모두에서 강력한 이론적 보장을 유지하는 효율적인 온라인 알고리즘을 개발하기 위해.
• 간단한 할당 구조를 초월하여 더 넓은 적용 가능성을 갖기 위해 일반 매트로이드 제약 조건으로의 프레임워크 확장하기 위해.
• 블로그 랭킹 및 광고 할당과 같은 실제 문제에서 알고리즘의 경험적 검증을 통해 기존 방법에 비해 뛰어난 성능을 입증하기 위해.

제안 방법

• 할당 제약 조건 하에서 부분모듈러 최대화를 위한 근사 최적의 오프라인 알고리즘인 TabularGreedy를 제안하여 $1 - 1/e$ 근사 비율을 달성한다.
• 다중 암표 밴딧 서브루틴을 사용해 시간이 지남에 따라 학습하는 온라인 알고리즘인 TGonline을 도입하며, $1 - 1/e$ 渐近적 보장을 유지하는 no-regret 성능을 확보한다.
• 일반적인 매트로이드 제약 조건을 위해 OCG(온라인 연속 그레디언트)를 설계하여 이론적 프레임워크를 임의의 독립 시스템으로 확장한다.
• 누적 오차가 비선형적으로 증가하는 no-regret 학습 모델을 사용하여 장기적으로 최적의 오프라인 해에 수렴하는 성능을 보장한다.
• 탐색과 이용의 균형을 이루는 그레디언트 선택 전략을 적용하며, 높은 유틸리티 할당의 이용과 불확실한 선택지의 탐색을 동시에 고려한다.
• 아이템-위치 할당에 대한 클릭률 및 기각 확률을 부분모듈러 함수로 모델링하여 실제 문제에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 매트로이드 제약 조건 하에서 온라인 알고리즘이 no-regret 모델에서 부분모듈러 최대화 문제에 대해 $1 - 1/e$ 근사 비율을 달성할 수 있는가?
• RQ2 부분모듈러 보상이 있는 동적 할당 문제에서 TGonline의 성능은 기존 온라인 알고리즘과 비교해 어떻게 되는가?
• RQ3 알고리즘 프레임워크는 강력한 이론적 보장을 유지하면서 일반 매트로이드 제약 조건을 처리할 수 있도록 확장될 수 있는가?
• RQ4 제안된 방법은 광고 할당 및 블로그 랭킹과 같은 실제 응용 분야에서 기존 접근법을 초월하는 성능을 보일 수 있는가?
• RQ5 사용자 다양성과 부분모듈러 유틸리티 구조는 온라인 할당 알고리즘의 해법 가능성과 성능에 어떤 영향을 미치는가?

주요 결과

• TGonline는 $1 - 1/e$의 渐近적 근사 비율을 가지며, 부분모듈러 최대화 문제의 최적 오프라인 bound와 동일한 no-regret 성능 보장을 달성한다.
• 부분모듈러 유틸리티를 가진 광고 할당 실험에서, $C=4$일 때 TGonline은 $10^4$라운드 이후 기준선 알고리즘($C=1$에 해당)을 능가한다.
• 블로그 랭킹 작업에서 알고리즘이 강력한 경험적 성능을 보이며, 부분모듈러 다양성과 관련성을 최대화함으로써 정보 확산 현상을 효과적으로 탐지한다.
• 오프라인 TabularGreedy 알고리즘은 단조 부분모듈러 함수에 대한 할당 최적화라는 NP-난해 문제에 대해 $1 - 1/e$ 근사 비율을 제공한다.
• OCG 알고리즘은 임의의 매트로이드 제약 조건으로 프레임워크를 일반화하면서도 $1 - 1/e$ no-regret 보장을 유지하여, 단순 할당 구조를 초월한 적용 가능성을 넓힌다.
• 클릭률 및 기각 확률이 사용자 유형에 따라 달라질 경우, $(1 - 1/e + \varepsilon)$-최적 할당을 찾는 오프라인 문제는 NP-난해하다.