[논문 리뷰] Community Exploration: From Offline Optimization to Online Learning

Xiaowei Chen, Weiran Huang외 2명|arXiv (Cornell University)|2018. 11. 13.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 고유한 멤버 탐색을 극대화하기 위해 상호배타적인 커뮤니티 간 예산 할당을 모델링하는 커뮤니티 탐색 문제를 제안한다. 비적응형 및 적응형 환경에 대해 최적의 오프라인 그레디 알고리즘을 제안하고, 상한 신뢰도를 사용하여 상수의 정규화된 손실을 달성하는 로그적 손실을 가진 온라인 학습 알고리즘을 제안한다.

ABSTRACT

We introduce the community exploration problem that has many real-world applications such as online advertising. In the problem, an explorer allocates limited budget to explore communities so as to maximize the number of members he could meet. We provide a systematic study of the community exploration problem, from offline optimization to online learning. For the offline setting where the sizes of communities are known, we prove that the greedy methods for both of non-adaptive exploration and adaptive exploration are optimal. For the online setting where the sizes of communities are not known and need to be learned from the multi-round explorations, we propose an `upper confidence' like algorithm that achieves the logarithmic regret bounds. By combining the feedback from different rounds, we can achieve a constant regret bound.

연구 동기 및 목표

• 온라인 광고 및 사회적 네트워킹과 같은 실세계 응용을 예산 제약 조건이 있는 커뮤니티 탐색 문제로 모델링하기 위해.
• 불확실성 하에서 오프라인 최적화에서 온라인 학습에 이르기까지 문제를 체계적으로 연구하기 위해.
• 제한된 탐색 예산 하에서 고유 멤버 탐색을 극대화하는 효율적인 알고리즘을 설계하기 위해.
• 부분 피드백 및 완전 피드백 조건 하에서 온라인 학습 변형에 대한 이론적 손실 경계를 제공하기 위해.

제안 방법

• m개의 상호배타적인 커뮤니티를 포함하는 커뮤니티 탐색 문제를 수립하며, 각 커뮤니티의 크기 d_i는 알려져 있거나 알려져 있지 않을 수 있으며, 총 예산 K가 존재한다.
• 시스템 상태 전이의 구조적 분석을 통해 최적성을 증명하는 오프라인 비적응형 및 적응형 설정에 대해 그레디 알고리즘을 적용한다.
• 손실을 최소화하기 위해 온라인 비적응형 및 적응형 탐색을 위한 UCB 유사 알고리즘(CLCB)을 개발한다.
• 다중 라운드 피드백을 활용하여 완전 정보 피드백을 가능하게 하여 상수 수준의 손실을 달성한다.
• 이론적 분석을 통해 온라인 설정에서 O(log T) 손실 경계를 유도하며, 표준 조합적 MAB 결과보다 향상된 성능을 보인다.
• 모의 실험에서 실측 평균 추정과 절단 기법을 활용하여 다양한 커뮤니티 크기 분포 하에서 성능를 검증한다.

실험 결과

연구 질문

• RQ1 비적응형 및 적응형 설정에서 고유 멤버 탐색을 극대화하기 위한 최적의 오프라인 예산 할당 전략은 무엇인가?
• RQ2 커뮤니티 크기가 알려져 있지 않을 때 온라인 학습은 어떻게 적용할 수 있으며, 어떤 손실 경계를 달성할 수 있는가?
• RQ3 이전 라운드의 피드백을 사용하여 온라인 커뮤니티 탐색에서 손실을 줄일 수 있는가?
• RQ4 실제로 그레디 정책은 비례 또는 무작위 할당에 비해 성능가치가 어떻게 다른가?
• RQ5 피드백 집계는 온라인 커뮤니티 탐색에서 손실에 어떤 영향을 미치는가?

주요 결과

• 그레디 알고리즘은 오프라인 비적응형 및 적응형 설정 모두에서 최적의 성능를 달성하며, 최적성에 대한 이론적 증명이 있다.
• 온라인 비적응형 및 적응형 설정에서 제안된 CLCB 알고리즘은 O(log T) 손실을 달성하며, 이는 渐近적으로 최적이다.
• 이전 라운드의 피드백을 활용할 경우 손실 경계는 상수 수준으로 감소하여 최적 성능로 수렴함을 나타낸다.
• 모의 실험 결과, 적응형 최적 방법이 비적응형 및 비례 할당에 비해 성능이 뛰어나며, 예산이 증가할수록 그 격차가 커진다.
• 비례 할당 방법은 최적 할당에 매우 가까이 근접하며, 최적 예산 벡터와의 L1 거리는 m 이하이다.
• 실측 평균 기반 오라클은 선형 손실을 초래하여, 온라인 설정에서 UCB 스타일 탐색의 필요성을 확인한다.