[논문 리뷰] Influence Maximization with Bandits

Sharan Vaswani, Laks V. S. Lakshmanan외 1명|arXiv (Cornell University)|2015. 02. 27.

Advanced Bandit Algorithms Research참고 문헌 4인용 수 27

한 줄 요약

이 논문은 영향력 확산 확률이 알려져 있지 않은 경우 사회망에서 影響 확산 최적화를 위한 조합적 다리개미 밴딧 프레임워크를 제안한다. 간선 수준과 새로운 노드 수준 피드백을 동시에 사용하여 누적 실수를 최소화한다. 탐색과 이용을 균형 잡는 실수 최소화 알고리즘을 도입하여 실제 데이터셋에서 효과를 입증하고 성능에 대한 이론적 경계를 제시한다.

ABSTRACT

We consider the problem of \emph{influence maximization}, the problem of maximizing the number of people that become aware of a product by finding the `best' set of `seed' users to expose the product to. Most prior work on this topic assumes that we know the probability of each user influencing each other user, or we have data that lets us estimate these influences. However, this information is typically not initially available or is difficult to obtain. To avoid this assumption, we adopt a combinatorial multi-armed bandit paradigm that estimates the influence probabilities as we sequentially try different seed sets. We establish bounds on the performance of this procedure under the existing edge-level feedback as well as a novel and more realistic node-level feedback. Beyond our theoretical results, we describe a practical implementation and experimentally demonstrate its efficiency and effectiveness on four real datasets.

연구 동기 및 목표

• 영향력 확산 확률이 알려져 있거나 이용 가능하지 않은 환경에서 영향 확산 최적화 문제를 다루며, 이전의 확산 데이터에 의존하지 않도록 한다.
• 탐색(영향력 확률 학습)과 이용(높은 확산을 보이는 시드 세트 선택)을 균형 잡는 방식으로 다중 라운드 동안 누적 실수를 최소화한다.
• 개별 간선의 영향을 관찰하지 않고 오직 노드의 활성화 상태만 관찰하는 새로운 노드 수준 피드백 메커니즘을 제안하고 분석한다. 이는 실세계 응용에 더 현실적인 접근이다.
• 실세계 네트워크에 스케일링 가능한 실수 최소화 알고리즘을 개발하고, 네 가지 실제 데이터셋에서의 경험적 효과성을 입증한다.

제안 방법

• 각 암이 크기 k인 시드 세트에 대응하는 조합적 다리개미 밴딧(CMAB) 프레임워크를 채택하며, 보상은 기대 영향 확산 수치이다.
• 간선 수준 피드백을 사용하여, 캐스케이드 과정 동안 각 개별 간선을 통해 영향력이 전파되었는지 여부를 시스템이 관찰한다.
• 새로운 노드 수준 피드백 모델을 도입하여, 활성화된(제품을 수용한) 노드들만 관찰하고, 구체적인 간선이 어떤 영향을 주었는지는 관찰하지 않는다.
• 베타-베르누이 공액 사전분포를 사용하여 영향력 확률을 추정하며, 사전 분포의 매개변수는 가짜 카운트로 기능한다.
• 현재 추정치를 기반으로 기대 확산 수치를 최대화하는 시드 세트를 선택하기 위해 탐욕 전략을 적용하며, 탐색은 이psilon-탐욕 또는 UCB 스타일 선택을 통해 수행한다.
• 특정한 탐색 전략 알고리즘을 제안하여, 탐색이 부족한 간선의 수를 최대화하는 시드 세트를 선택함으로써 학습을 위한 네트워크 커버리지 향상.

실험 결과

연구 질문

• RQ1 사전에 확산 데이터가 없는 상황에서 조합적 밴딧 접근법이 영향력 확산 확률을 효과적으로 학습할 수 있는가?
• RQ2 노드 수준 피드백과 간선 수준 피드백 간의 실수와 학습 효율성 측면에서의 성능 비교는 어떠한가?
• RQ3 간선 수준 및 노드 수준 피드백 환경에서 제안된 알고리즘의 이론적 실수 경계는 무엇인가?
• RQ4 예를 들어, 베타-베타 공액 사전분포를 포함함으로써 학습 과정의 수렴성과 성능에 어떤 영향을 미치는가?
• RQ5 전략적 탐색이 무작위 탐색보다 영향력 확률 추정의 정확성과 샘플 효율성 측면에서 더 우수한 성능을 보일 수 있는가?

주요 결과

• 제안된 알고리즘은 간선 수준 피드백과 노드 수준 피드백 모두에서 비선형 실수를 달성하여, 제한된 피드백 조건에서도 학습이 가능함을 입증한다.
• 노드 수준 피드백은 더 현실적이지만 간선 수준 피드백보다 더 높은 실수를 경험하지만, 적절한 알고리즘 설계를 통해 성능 격차는 관리 가능하다.
• 가짜 카운트를 포함한 베타-베르누이 사전분포의 사용은 실험 결과를 통해 플리커 데이터셋에서 학습 수렴성을 크게 향상시킴을 보여준다.
• 전략적 탐색은 특히 노드 수준 피드백 하에서 무작위 탐색보다 더 효과적으로 영향력 확률 추정의 L2 오차를 감소시킨다.
• 네 가지 실제 데이터셋에서 높은 영향력 확산과 낮은 실수를 동시에 달성하여 알고리즘이 실용적으로 효과적임을 확인한다.
• 이론적 분석을 통해 실수는 시간에 대해 비선형적으로 증가함을 확인하였으며, 이는 알고리즘이 시간이 지남에 따라 최적의 시드 세트를 학습함을 의미한다.