[논문 리뷰] Online Influence Maximization under Independent Cascade Model with Semi-Bandit Feedback

Zheng Wen, Branislav Kveton외 2명|arXiv (Cornell University)|2016. 05. 21.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 51

한 줄 요약

이 논문은 독립 캐스케이드 모델과 반반-밴디트 피드백 하에서 온라인 영향력 확산을 위한 계산적으로 효율적인 UCB 기반 알고리즘인 IMLinUCB를 제안한다. 네트워크 구조와 간선 활성화 확률에 따라 결정되는 다항식의 오차 한계를 달성하며, 이는 선형 일반화를 통해 대규모 네트워크로의 확장성을 확보한 이 설정에 대해 처음으로 이론적 보장을 제공한다.

ABSTRACT

We study the online influence maximization problem in social networks under the independent cascade model. Specifically, we aim to learn the set of "best influencers" in a social network online while repeatedly interacting with it. We address the challenges of (i) combinatorial action space, since the number of feasible influencer sets grows exponentially with the maximum number of influencers, and (ii) limited feedback, since only the influenced portion of the network is observed. Under a stochastic semi-bandit feedback, we propose and analyze IMLinUCB, a computationally efficient UCB-based algorithm. Our bounds on the cumulative regret are polynomial in all quantities of interest, achieve near-optimal dependence on the number of interactions and reflect the topology of the network and the activation probabilities of its edges, thereby giving insights on the problem complexity. To the best of our knowledge, these are the first such results. Our experiments show that in several representative graph topologies, the regret of IMLinUCB scales as suggested by our upper bounds. IMLinUCB permits linear generalization and thus is both statistically and computationally suitable for large-scale problems. Our experiments also show that IMLinUCB with linear generalization can lead to low regret in real-world online influence maximization.

연구 동기 및 목표

• 초기에는 알려지지 않은 활성화 확률을 가진 사회적 네트워크에서 온라인 영향력 확산 문제를 다루기 위해.
• 지수적으로 많은 가능한 영향력자 집합으로 인해 발생하는 조합 최적화 행동 공간을 다루기 위해.
• 관찰 가능한 영향을 받은 간선들만을 관찰하는 제한된 반반-밴디트 피드백 환경에서 작동하는 학습 알고리즘을 설계하기 위해.
• 대규모 네트워크에서 통계적 효율성과 계산적 확장성 모두를 확보하는 방법을 개발하기 위해.
• 네트워크 구조와 간선 확률을 반영한 이론적 오차 한계를 수립하기 위해.

제안 방법

• 간선 특징에 대한 선형 일반화를 사용하여 활성화 확률을 모델링하는 UCB 기반 알고리즘인 IMLinUCB를 제안한다.
• 공분산 행렬 $\mathbf{V}_t$ 의 역행렬을 사용하여 자기정규화된 신뢰구간을 적용하여 추정 오차를 통제한다.
• 선형 모델 $\mathbf{w}(e) = \langle \mathbf{x}_e, \theta^* \rangle$ 을 사용하여 간선 활성화 확률을 표현함으로써 효율적인 일반화를 가능하게 한다.
• 자기정규화된 마팅글 불등식을 통해 추정 오차 $\| \overline{\theta}_t - \theta^* \|_{\mathbf{M}_t^{-1}}$ 에 대한 고확률 경계를 적용한다 [1].
• 네트워크 구조와 간선 확률에 기반하여 문제의 복잡도를 캡처하는 최대 관측 관련도 측정값 $C_*$ 를 정의한다.
• 각 확산 과정 동안 활성화된 간선들만을 관찰하는 반반-밴디트 피드백 모델을 사용한다.

실험 결과

연구 질문

• RQ1 독립 캐스케이드 모델과 반반-밴디트 피드백 하에서, 계산적으로 효율적인 온라인 학습 알고리즘을 설계할 수 있는가?
• RQ2 온라인 영향력 확산 문제의 정보 이론적 복잡도는 무엇이며, 네트워크 구조와 간선 확률에 어떻게 의존하는가?
• RQ3 문제 매개변수에 대해 다항식으로 증가하는 오차 한계를 달성할 수 있으며, 이는 네트워크의 진정한 복잡도를 반영할 수 있는가?
• RQ4 선형 일반화는 대규모 영향력 확산에서 통계적 효율성과 계산적 효율성을 어떻게 향상시키는가?
• RQ5 제안된 알고리즘이 다양한 네트워크 구조에서 실질적으로 낮은 오차를 달성하는가?

주요 결과

• IMLinUCB는 상호작용 수, 네트워크 크기, 특징 공간의 차원 수 등 모든 관련 매개변수에 대해 다항식 오차 한계를 달성한다.
• 오차 한계는 상호작용 수에 대해 거의 최적의 의존성을 보이며, 밴디트 설정에서 알려진 하한과 일치하는 로그 인자 요소를 포함한다.
• 알고리즘의 오차는 최대 관측 관련도 측정값 $C_*$ 를 통해 네트워크의 구조와 간선 활성화 확률을 반영한다. 이는 문제의 복잡도를 정량화한다.
• 실험 결과는 IMLinUCB의 오차가 다양한 합성 및 실세계 그래프 구조에서 이론적 경계에 의해 예측된 바와 같이 증가하는 것으로 나타났다.
• 선형 일반화 덕분에 IMLinUCB는 대규모 실세계 영향력 확산 작업에서 낮은 오차를 유지하며 실용적인 확장성을 입증했다.
• 고확률 신뢰구간은 자기정규화된 마팅글 불등식을 통해 추정 오차에 대해 유도되었으며, 이는 순차적 학습에서의 강건성을 보장한다.