[논문 리뷰] Opportunistic Advertisement Scheduling in Live Social Media: A Multiple Stopping Time POMDP Approach

Vikram Krishnamurthy, Anup Aprem외 1명|arXiv (Cornell University)|2016. 11. 01.

Consumer Market Behavior and Pricing참고 문헌 29인용 수 3

한 줄 요약

이 논문은 실시간 소셜 미디어에서 최적의 기회적 광고 스케줄링을 위해 다중 정지 시점 부분 관측 가능 마르코프 결정 과정(POMDP) 프레임워크를 제안한다. 노이즈가 섞인 시청자 수 관측치를 활용하여 광고 수익을 극대화한다. 최적 정책의 구조적 성질을 유도하고, 확률적 근사법을 사용하여 근사 최적의 선형 임계값을 계산하여 실제 데이터셋에서 주기적 스케줄링 대비 20–30% 수준의 수익 향상을 입증한다.

ABSTRACT

Live online social broadcasting services like YouTube Live and Twitch have steadily gained popularity due to improved bandwidth, ease of generating content and the ability to earn revenue on the generated content. In contrast to traditional cable television, revenue in online services is generated solely through advertisements, and depends on the number of clicks generated. Channel owners aim to opportunistically schedule advertisements so as to generate maximum revenue. This paper considers the problem of optimal scheduling of advertisements in live online social media. The problem is formulated as a multiple stopping problem and is addressed in a partially observed Markov decision process (POMDP) framework. Structural results are provided on the optimal advertisement scheduling policy. By exploiting the structure of the optimal policy, best linear thresholds are computed using stochastic approximation. The proposed model and framework are validated on real datasets, and the following observations are made: (i) The policy obtained by the multiple stopping problem can be used to detect changes in ground truth from online search data (ii) Numerical results show a significant improvement in the expected revenue by opportunistically scheduling the advertisements. The revenue can be improved by $20-30\%$ in comparison to currently employed periodic scheduling.

연구 동기 및 목표

• 실시간 소셜 미디어 플랫폼에서 시청자 참여도와 광고 클릭 수에 따라 수익이 결정되므로, 광고 수익을 극대화하는 데 도전 과제를 해결한다.
• 관측되지 않는 시청자 참여도를 은닉 마르코프 과정으로 모델링하고, 시청자 수를 부분 관측치로 사용한다.
• 중간 광고 삽입의 최적 타이밍을 확보하기 위해 광고 스케줄링 문제를 다중 정지 시점 POMDP로 공식화한다.
• 최적 정책의 구조적 성질, 즉 단조성과 임계값 행동을 도출하여 효율적인 계산을 가능하게 한다.
• 실세계 데이터셋을 활용해 제안된 방법을 검증하고 주기적 스케줄링 대비 뚜렷한 수익 증대 효과를 입증한다.

제안 방법

• 숨겨진 상태로 시청자 참여도를, 관측치로 현재 시청자 수를 사용하여 다중 정지 시점 POMDP로 광고 스케줄링 문제를 공식화한다.
• 시청자 참여도를 이원 마르코프 체인으로 모델링하고, 시청자 수를 통해 진짜 상태의 노이즈가 섞인 관측치를 가정한다.
• 베이즈의 정리를 사용해 믿음 상태를 업데이트하면서 동적 프로그래밍을 통해 가치 함수를 순차적으로 유도한다.
• 최적 정책이 믿음 상태에 대해 단조롭다는 것을 증명하여, 임계값 기반 제어의 사용이 가능함을 보장한다.
• 계산 복잡도를 줄이기 위해 확률적 근사법을 사용하여 스위칭 곡선에 대한 최적의 선형 임계값을 계산한다.
• 극단적인 믿음 상태를 연결하는 선분을 따라 믿음 상태를 사용하여 스위칭 곡선을 구성함으로써, 연결되고 단조로운 결정 영역을 확보한다.

실험 결과

연구 질문

• RQ1 시청자 참여도가 관측되지 않고 오직 노이즈가 섞인 시청자 수 관측치만 제공될 때 실시간 소셜 미디어 광고 스케줄링은 어떻게 최적화할 수 있는가?
• RQ2 POMDP 프레임워크 내에서 다중 광고 삽입에 대한 최적 정책이 보이는 구조적 성질은 무엇인가?
• RQ3 확률적 근사법과 선형 임계값을 사용하여 최적 정책의 계산 효율적인 근사치를 유도할 수 있는가?
• RQ4 실제 실시간 스트리밍 환경에서 기회적 스케줄링은 주기적 스케줄링 대비 얼마나 더 높은 광고 수익을 제공하는가?
• RQ5 온라인 검색 및 시청자 데이터에서 지표(예: 유행 이벤트)의 변화를 모델이 감지할 수 있는가?

주요 결과

• 광고 스케줄링을 위한 최적 정책은 믿음 상태에 대해 단조롭게 변화하므로, 임계값 기반 구현이 가능하다.
• 제안된 POMDP 프레임워크는 관측 가능한 시청자 수를 노이즈가 섞인 신호로 사용하여 은닉된 시청자 참여도 과정을 성공적으로 모델링한다.
• 확률적 근사법을 통해 근사 최적의 선형 임계값을 도출하였으며, 이는 성능을 유지하면서 계산 복잡도를 크게 감소시킨다.
• 수치 결과는 주기적 스케줄링 정책 대비 기대 광고 수익에서 20–30% 향상됨을 보여준다.
• 온라인 데이터에서 시청자 참여도 패턴의 변화를 분석함으로써 모델이 지표의 변화(예: 유행 이벤트)를 감지할 수 있다.
• 최적 행동(광고 삽입 또는 미삽입)에 대한 스위칭 곡선은 연결되어 있고 잘 정리되어 있어 실용적 구현을 지원한다.