[논문 리뷰] Deep Graph Representation Learning and Optimization for Influence Maximization

Ling Chen, Junji Jiang외 6명|arXiv (Cornell University)|2023. 05. 01.

Complex Network Analysis Techniques인용 수 78

한 줄 요약

DeepIM은 seed 세트를 연속 잠재 공간에 임베딩하고 엔드-투-엔드로 그래프 확산 모델을 학습하여 노드 중심성 제약과 지식 증류 기반의 효율 향상을 통해 확장 가능하고 적응적인 영향력 최대화를 가능하게 한다.

ABSTRACT

Influence maximization (IM) is formulated as selecting a set of initial users from a social network to maximize the expected number of influenced users. Researchers have made great progress in designing various traditional methods, and their theoretical design and performance gain are close to a limit. In the past few years, learning-based IM methods have emerged to achieve stronger generalization ability to unknown graphs than traditional ones. However, the development of learning-based IM methods is still limited by fundamental obstacles, including 1) the difficulty of effectively solving the objective function; 2) the difficulty of characterizing the diversified underlying diffusion patterns; and 3) the difficulty of adapting the solution under various node-centrality-constrained IM variants. To cope with the above challenges, we design a novel framework DeepIM to generatively characterize the latent representation of seed sets, and we propose to learn the diversified information diffusion pattern in a data-driven and end-to-end manner. Finally, we design a novel objective function to infer optimal seed sets under flexible node-centrality-based budget constraints. Extensive analyses are conducted over both synthetic and real-world datasets to demonstrate the overall performance of DeepIM. The code and data are available at: https://github.com/triplej0079/DeepIM.

연구 동기 및 목표

• 離散 seed-set 선택 문제를 연속 잠재 공간으로 임베드하여 최적화를 쉽게 한다.
• 실제Propagation 패턴을 엔드-투-엔드로 포착하는 데이터 기반 확산 모델을 학습한다.
• 노드 중심성 기반 예산 제약 하에서 시드 세트 추론을 위한 통합되고 적응 가능한 목적함수를 제공한다.
• 정확도를 희생하지 않으면서 경량 학생 모델로의 지식 증류를 통해 효율성을 향상시킨다.
• 다양한 확산 모델 하에서 실제 네트워크와 합성 네트워크에 대해 강력한 성능을 보여준다.

제안 방법

• seed 세트를 나타내는 잠재 변수 z를 도입하여 p(x) = ∫ p(x|z)p(z) dz로 표현하고 자동인코더(인코더 f_phi 및 디코더 f_psi)로 학습한다.
• GNN 기반 확산 모델 M(x,G;θ)을 개발하여 감염 확률과 최종 확산을 출력하고, 비감소적 집계 및 조합 함수에서의 단조성 보장 및 최종 읽기 함수의 비감소성을 보장한다.
• 확산 모델의 점수 및 감염 단조성을 통해 현실적 확산을 반영하고, 명시된 조건에서 GNN(예: GAT)의 단조성을 증명한다.
• 효율성을 위해 지식 증류를 도입하여 latent z로부터 직접 영향을 예측하는 경량 학생 모델 Ms(z;λ)을 학습한다.
• 학습된 posterior p(z|x)와 확산 모델을 결합하여 잠재 표현과 확산 예측을 공동으로 최적화하는 엔드-투-엔드 학습 objective를 제공한다.
• 순수 카디널리티 제약 및 차수 기반 제약을 포함한 임의의 노드 중심 예산에서 시드 세트 추론을 위한 통일된 제약 최적화 objective를 제공한다.
• 정해진 정규화 규칙을 가진 투영 기법으로 잠재 공간에서 z를 최적화하는 추론 절차를 제안하며, 해를 타당하게 유지하기 위한 제 Phi(x) 정규화 항을 포함한다.

실험 결과

연구 질문

• RQ1 다양한 확산 패턴에서 확장 가능하고 효과적인 영향력 최대화를 가능하게 하는 Seed 세트의 연속 잠재 표현이 가능할까?
• RQ2 단조성 특성을 보존하면서 엔드-투-엔드 방식으로 확산 모델과 seed-set 표현을 함께 학습할 수 있을까?
• RQ3 다양한 IM 변형에 대해 노드 중심 예산 제약을 통일된 프레임워크로 적응적으로 처리할 수 있을까?
• RQ4 고용량 확산 모델에서 경량 학생 모델로 증류해도 예측 정확도가 유지되면서 효율성이 개선될까?

주요 결과

• DeepIM은 실제 네트워크 및 확산 설정에서 전통적 및 학습 기반 베이스라인을 일관되게 능가한다.
• 프레임워크는 학습된 확산 모델의 단조성 보장을 유지하여 신뢰할 수 있는 영향 추정을 돕는다.
• 경량 학생 모델은 교사 확산 모델을 근사할 수 있어 대규모에서의 효율적인 추론을 가능하게 한다.
• 잠재 공간 추론 절차는 차수 기반 및 카디널리티 예산 등 다양한 예산 제약 하에서 높은 영향력을 가진 seed 세트를 효과적으로 식별한다.
• 실험 결과는 IC, LT, SIS 확산 하에서 강력한 성능과 확장 가능한 학습 및 추론 워크플로우를 보여준다.