[논문 리뷰] Online Learning of Assignments that Maximize Submodular Functions

Daniel Golovin, Andreas Krause외 1명|ArXiv.org|2009. 08. 05.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 6

한 줄 요약

이 논문은 광고 클릭 수익이나 랭킹에서의 정보 다양성과 같은 단조 감소하는 부분모듈러리티 유용성 함수를 최대화하는 온라인 학습 알고리즘인 TGBANDIT을 제안한다. 이 알고리즘은 수렴하는 최적의 1−1/e 근사 비율을 갖는 무손실 성능 보장을 달성하며, 실세계 광고 배정 및 블로그 랭킹 작업에서 이전 방법들을 능가한다.

ABSTRACT

Which ads should we display in sponsored search in order to maximize our revenue? How should we dynamically rank information sources to maximize value of information? These applications exhibit strong diminishing returns: Selection of redundant ads and information sources decreases their marginal utility. We show that these and other problems can be formalized as repeatedly selecting an assignment of items to positions to maximize a sequence of monotone submodular functions that arrive one by one. We present an efficient algorithm for this general problem and analyze it in the no-regret model. Our algorithm possesses strong theoretical guarantees, such as a performance ratio that converges to the optimal constant of 1-1/e. We empirically evaluate our algorithm on two real-world online optimization problems on the web: ad allocation with submodular utilities, and dynamically ranking blogs to detect information cascades.

연구 동기 및 목표

• 자신의 기여도가 감소하는 특성을 보이는 유용성 함수, 예를 들어 스폰서드 서치 및 정보 랭킹에서의 온라인 할당 문제를 해결하기 위해.
• 분할 매트로이드 제약 조건 하에서 단조 감소하는 부분모듈러리티 함수를 최대화하기 위해 일정 요소 근사 비율(1−1/e)을 달성하는 효율적인 알고리즘을 개발하기 위해.
• 유용성 함수가 순차적으로 도착하고 피드백이 밴딧 스타일의 보상으로 제한되는 동적 환경에서 무손실 온라인 학습 알고리즘을 설계하기 위해.
• 실세계 웹 응용 프로그램, 특히 부분모듈러리티 클릭스루 모델을 갖는 광고 배정 및 정보 확산을 위한 동적 블로그 랭킹에서의 접근 방식을 경험적으로 검증하기 위해.

제안 방법

• 다중 무기 슬롯머신 서브루틴을 사용하여 순차적 할당 결정에서 탐색과 이용의 균형을 이루는 온라인 알고리즘인 TGBANDIT을 제안한다.
• 각 라운드의 유용성 함수에 대해 근사 최적의 할당을 계산하기 위해 표 형태의 근사 근사 히우리스틱(TABULARGREEDY)을 서브루틴으로 사용한다.
• 함수 평가를 유효한(가능한) 할당에만 제한하여 타당하지 않은 집합 쿼리 방지를 위해 연속-그리디 접근법을 이산 가능한 영역에 적용한다.
• 온라인 환경에서 밴딧 피드백을 사용하여, 전체 유용성 함수가 아닌 선택된 할당의 보상만 관측한다.
• 이론적 무손실 분석을 적용하여 TGBANDIT의 누적 손실이 비선형적으로 증가함을 보이며, 성능 비율이 1−1/e로 수렴함을 보였다.
• 사용자 행동을 모델링하기 위한 새로운 피드백 모델을 도입하여 검색 환경에서의 포기 및 클릭 확률을 시뮬레이션함으로써 현실적인 부분모듈러리티 보상 함수를 구현한다.

실험 결과

연구 질문

• RQ1 유용성 함수가 감소 수익 특성을 보이는 할당 문제에서 제한된 피드백 조건 하에 부분모듈러리티 유용성 함수를 최대화할 수 있는 온라인 알고리즘을 설계할 수 있는가?
• RQ2 이러한 알고리즘의 이론적 성능 보장은 손실과 근사 비율 측면에서 어떻게 되는가?
• RQ3 실세계 응용 프로그램, 예를 들어 광고 배정 및 블로그 랭킹에서 이전 방법들과 비교해 성능이 어떻게 되는가?
• RQ4 다양한 사용자 행동, 즉 서로 다른 클릭 및 포기 확률을 갖는 사용자 유형을 처리하면서도 강력한 보장을 유지할 수 있는가?
• RQ5 유용성 함수가 알려져 있지 않고 부분 정보만 제공되는 상황에서도 알고리즘이 실질적으로 근사 최적의 성능(1−1/e)을 달성하는가?

주요 결과

• 광고 배정 실험에서 TGBANDIT이 C=4일 때 약 10^6라운드 후 이전 최고 성능 알고리즘(C=1과 동등)과 동등해지고 이후에는 이를 능가한다.
• 알고리즘은 점점 1−1/e에 수렴하는 점근적 근사 비율을 갖는 무손실 성능 보장을 달성하며, 부분모듈러리티 최대화의 이론적 하한선과 일치한다.
• 경험적 결과는 TGBANDIT이 광고 배정 및 동적 블로그 랭킹 작업에서 기존 온라인 알고리즘을 크게 능가함을 보여준다.
• 선택된 할당의 보상만 관측되는 밴딧 피드백 조건 하에서도 알고리즘이 효과적으로 작동함을 보이며, 부분 정보에 대한 강건성을 입증한다.
• 오프라인 TABULARGREEDY 알고리즘은 분할 매트로이드 제약 조건 하에서 부분모듈러리티 최대화에 대해 (1−1/e) 근사 비율을 달성하며, 알려진 이론적 최적치와 일치한다.
• 연구는 다수의 사용자 유형이 서로 다른 클릭 및 포기 확률을 갖는 경우에도 오프라인 문제의 난이도가 여전히 NP-난이도임을 보여주며, 온라인 학습 접근법의 필요성을 강조한다.