[논문 리뷰] ChoiceRank: Identifying Preferences from Node Traffic in Networks

Lucas Maystre, Matthias Grossglauser|arXiv (Cornell University)|2016. 10. 20.

Complex Network Analysis Techniques인용 수 5

한 줄 요약

ChoiceRank는 네트워크의 간선 전이 확률을 추론하기 위한 확장 가능한 방법을 제안한다. 이는 유저의 선택을 Luce의 선택 원리로 모델링하며, 집계된 노드 수준의 트래픽과 네트워크 구조만을 사용한다. 잘 정의된 베이지안 추론 프레임워크를 활용하며, 효율적인 EM 유사 알고리즘을 통해 빌리언 노드 그래프까지 스케일링 가능하며, 클릭스트림 및 이동성 데이터셋에서 정답 전이 확률을 정확하게 복원한다.

ABSTRACT

Understanding how users navigate in a network is of high interest in many applications. We consider a setting where only aggregate node-level traffic is observed and tackle the task of learning edge transition probabilities. We cast it as a preference learning problem, and we study a model where choices follow Luce's axiom. In this case, the $O(n)$ marginal counts of node visits are a sufficient statistic for the $O(n^2)$ transition probabilities. We show how to make the inference problem well-posed regardless of the network's structure, and we present ChoiceRank, an iterative algorithm that scales to networks that contains billions of nodes and edges. We apply the model to two clickstream datasets and show that it successfully recovers the transition probabilities using only the network structure and marginal (node-level) traffic data. Finally, we also consider an application to mobility networks and apply the model to one year of rides on New York City's bicycle-sharing system.

연구 동기 및 목표

• 노드 수준의 트래픽과 네트워크 구조만 제공될 때 간선 전이 확률을 추론하는 것.
• 사용자 선호도(내재된 클릭 가능도)와 가시성(들어오는 링크를 통한 노출)을 분리하는 문제를 해결하는 것.
• 임의의 네트워크 구조에 대해 강건한 잘 정의된 추론 프레임워크를 개발하는 것.
• 단일 머신을 사용하여 빌리언 엣지 그래프를 포함한 거대 네트워크에서도 확장 가능한 추론을 가능하게 하는 것.
• 클릭스트림 및 이동성 네트워크를 포함한 실세계 데이터셋에서 방법을 검증하는 것.

제안 방법

• 사용자 탐색을 Luce의 선택 원리에 따라 제어되는 선택의 연속으로 모델링하며, 각 노드는 내재된 선호도를 반영하는 잠재 강도 파라미터를 가진다.
• 노드 방문 수의 마진값을 사용하여 잠재 강도 파라미터를 추정하는 데 충분한 통계량으로 삼으며, 간선 수준의 전이 로그가 필요 없게 된다.
• 임의의 네트워크 구조에 관계없이 잘 정의된 추론을 보장하기 위해 강도 파라미터에 코너저 기반 사전(가우스)을 도입한다.
• 최대 a-posteriori 추정치를 계산하기 위해 반복적인 최소화-최대화(MM) 알고리즘을 사용하며, 이는 EM 알고리즘과 동일하다.
• 각 단계에서 두 번의 PageRank 유사 반복만을 요구하는 업데이트 규칙을 유도하여, 반복당 선형 시간 복잡도를 달성한다.
• 가중치가 있는 간선을 포함한 네트워크에 대해 알고리즘을 적응시키며, 스트리밍 간선 처리를 지원하여 확장성 향상.

실험 결과

연구 질문

• RQ1 노드 수준의 트래픽 수와 네트워크 구조만으로 간선 전이 확률을 정확하게 복원할 수 있는가?
• RQ2 네트워크 내비게이션에서 사용자 선호도(내재된 강도)와 가시성 효과(들어오는 링크를 통한 노출)를 어떻게 분리할 수 있는가?
• RQ3 코너저 사전을 사용하는 베이지안 프레임워크에서 임의의 네트워크 구조에 대해 추론 문제가 잘 정의되는가?
• RQ4 단일 머신을 사용하여 빌리언 노드 및 엣지의 거대 네트워크에 대해 추론 알고리즘이 스케일링 가능한가?
• RQ5 모델은 클릭스트림 데이터를 초월하여 이동성 네트워크와 같은 다른 탐색 패턴으로 일반화 가능한가?

주요 결과

• 노드 방문 수의 마진값은 잠재 강도 파라미터에 대해 충분한 통계량이며, 간선 수준의 데이터 없이도 완전한 추론이 가능하다.
• 가우스 사전의 추가로 인해 어떤 네트워크 구조이든 추론 문제가 잘 정의되며, 식별 불가능성 문제를 방지한다.
• ChoiceRank 알고리즘은 최대 a-posteriori 추정치로 수렴하며, 두 번의 PageRank 반복 비용만으로 효율적으로 스케일링된다.
• 위키백과와 헝가리 뉴스 포털에서, 노드 수준의 트래픽과 그래프 구조만을 사용하여 간선 전이 확률을 높은 정확도로 복원하였다.
• 해당 방법은 뉴욕의 자전거 공유 시스템에서 이동 패턴을 성공적으로 추론하여 웹 클릭스트림을 초월한 적용 가능성을 입증하였다.
• 알고리즘이 단일 머신에서 1000억 개 이상의 엣지를 가진 WWW 하이퍼링크 그래프 스냅샷을 처리하여 확장성의 확인을 얻었다.