[논문 리뷰] Influence maximization in unknown social networks: Learning Policies for Effective Graph Sampling

Harshavardhan Kamarthi, Priyesh Vijayan외 3명|arXiv (Cornell University)|2019. 07. 08.

Complex Network Analysis Techniques참고 문헌 27인용 수 8

한 줄 요약

이 논문은 알려지지 않은 네트워크에서 影響을 최대화하기 위해 적응형이며 이식 가능한 정책을 학습하는 강화학습 프레임워크인 Geometric-DQN을 제안한다. 딥 그래프 임베딩과 맞춤형 MDP 설정을 활용하여, 다양한 도메인의 실제 네트워크에서 기존 최고 수준의 수작업 샘플링 방법보다 7–23% 높은 영향 범위를 달성한다.

ABSTRACT

A serious challenge when finding influential actors in real-world social networks is the lack of knowledge about the structure of the underlying network. Current state-of-the-art methods rely on hand-crafted sampling algorithms; these methods sample nodes and their neighbours in a carefully constructed order and choose opinion leaders from this discovered network to maximize influence spread in the (unknown) complete network. In this work, we propose a reinforcement learning framework for network discovery that automatically learns useful node and graph representations that encode important structural properties of the network. At training time, the method identifies portions of the network such that the nodes selected from this sampled subgraph can effectively influence nodes in the complete network. The realization of such transferable network structure based adaptable policies is attributed to the meticulous design of the framework that encodes relevant node and graph signatures driven by an appropriate reward scheme. We experiment with real-world social networks from four different domains and show that the policies learned by our RL agent provide a 10-36% improvement over the current state-of-the-art method.

연구 동기 및 목표

• 전체 네트워크 구조가 알려지지 않았고 수집하는 데 비용이 많이 드는 실제 사회적 네트워크에서 영향 최적화 문제를 해결하기 위해.
• 커뮤니티 구조나 우정의 역설 같은 고정된 구조적 가정에 의존하는 수작업 샘플링 히وري스틱의 한계를 극복하기 위해.
• 진행 중인 관측 결과에 기반해 순차적인 그래프 샘플링을 통해 영향력 있는 노드를 탐지하는 학습 가능한, 적응형 정책을 개발하기 위해.
• 사전에 학습된 그래프 임베딩과 합성 데이터를 사용하여 훈련된 정책을 다양한 네트워크 분포 간에 이식 가능하게 만들기 위해.
• 순차적 탐색을 통해 전체 네트워크에서 높은 중심성(중간성 및 차수 중심성)을 가진 노드를 식별하도록 학습하여 영향 범위를 향상시키기 위해.

제안 방법

• 에이전트가 관측된 부분 그래프에 기반해 노드를 선택하는 방식으로, 부분적으로 관측된 네트워크의 상태를 표현하는 마르코프 결정 과정(MDP)을 사용해 네트워크 탐색 문제를 순차적 의사결정 문제로 공식화한다.
• 지역적 노드 특징과 전역 그래프 임베딩(예: Deepwalk에서 유도된 것)을 모두 통합한 Geometric-DQN이라는 딥 Q네트워크 아키텍처를 도입하여, 부분적으로 관측된 네트워크의 현재 상태를 표현한다.
• 그래프 표현 학습을 활용해 커뮤니티 구조나 중심성과 같은 구조적 특성을 인코딩함으로써, 에이전트가 고차원 네트워크 패턴을 추론할 수 있도록 한다.
• 발견된 부분 그래프에서 선택된 시드 세트의 영향 범위에 기반한 보상 신호를 사용하여, 전체 네트워크에서 높은 영향력을 발휘할 수 있는 노드 선택을 장려한다.
• 역사적 네트워크 데이터를 기반으로 딥 Q러닝을 통해 에이전트를 훈련시켜, 새로운 그래프로 일반화하고 샘플링 과정 중 전략을 적응적으로 조정할 수 있도록 한다.
• 합성 데이터 또는 도메인 일반화된 데이터셋에서 사전 훈련함으로써 전이 학습을 지원하며, 새로운 환경에 적용하기 위해 다시 시작부터 훈련할 필요 없이 배포할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 수작업 히وري스틱에 의존하지 않고, 알려지지 않은 사회적 네트워크에서 영향 최적화를 위한 효과적이고 적응형 샘플링 정책을 강화학습 에이전트가 학습할 수 있는가?
• RQ2 학습된 정책이 커뮤니티 구조나 희박한 별형 연결성을 가진 네트워크를 포함한 다양한 유형의 실제 사회적 네트워크에서 얼마나 잘 일반화되는가?
• RQ3 학습된 정책이 전체 네트워크에서 진짜로 높은 중심성(중간성 및 차수 중심성)을 가진 노드를 얼마나 잘 식별하는가?
• RQ4 합성 데이터 또는 일반 목적의 데이터셋에서의 전이 학습이 도메인 특화 데이터에서 훈련한 것과 비슷한 성능을 달성할 수 있는가?
• RQ5 그래프 임베딩이 네트워크의 어떤 구조적 특성을 효과적으로 포착하고 있으며, 이는 정책 성능에 어떻게 기여하는가?

주요 결과

• Geometric-DQN은 다양한 도메인의 네 가지 실제 사회적 네트워크에서 SOTA 알고리즘인 CHANGE 대비 7–23% 높은 영향 범위를 달성했다.
• 기본 방법에 비해 학습된 정책은 특히 후속 샘플링 단계에서 전체 네트워크에서 진짜로 높은 중심성(중간성 및 차수 중심성)을 가진 노드를 일관되게 선택했다.
• Geometric-DQN은 강력한 일반화 성능을 보였으며, 합성 네트워크나 일반 사회적 네트워크 데이터셋에서 훈련한 후 목표 도메인으로 전이해도 유사한 성능을 기록했다.
• 높은 중간성 노드를 식별할 수 있는 능력은 에이전트가 커뮤니티 간 연결 다리(구조적 다리)를 효과적으로 학습했음을 시사하며, 이는 넓은 영향력 전파에 핵심적이다.
• 시간에 따른 중심성 시각화 결과, Geometric-DQN은 샘플링 과정이 진행될수록 점점 영향력 있는 노드를 더욱 정밀하게 타겟팅하는 것으로 나타나, 적응적이고 정보 기반의 탐색을 수행하고 있음을 보여주었다.
• Deepwalk 임베딩과 DQN 아키텍처의 통합은 단순한 국소 연결성 이상의 복잡한 고차원 그래프 패턴을 탐지할 수 있도록 했다.