[논문 리뷰] The Multiple Random Dot Product Graph Model

Agnes Martine Nielsen, Daniela Witten|arXiv (Cornell University)|2018. 11. 29.

Complex Network Analysis Techniques참고 문헌 12인용 수 14

한 줄 요약

이 논문은 동일한 노드에 대해 다수의 그래프를 다룰 수 있도록 개선된 MREG 모델의 확장형인 다중 랜덤 도트 곱 그래프(Multi-RDPG) 모델을 제안한다. 이 모델은 잠재 벡터에 대해 정반비대칭성과 직교성을 강제함으로써, 동일한 노드 집합에 대해 다수의 그래프를 다룰 수 있도록 한다. 또한 직교 프로크루스테스 업데이트를 통한 교차 최소화 알고리즘과 그래프 간 분포 차이를 탐지하기 위한 가설 검정을 도입하여, 시뮬레이션 및 위키백과와 C. elegans 네트워크의 실세계 데이터에서 더 나은 피팅 및 추론 성능을 보였다.

ABSTRACT

Data in the form of graphs, or networks, arise naturally in a number of contexts; examples include social networks and biological networks. We are often faced with the availability of multiple graphs on a single set of nodes. In this article, we propose the multiple random dot product graph model for this setting. Our proposed model leads naturally to an optimization problem, which we solve using an efficient alternating minimization approach. We further use this model as the basis for a new test for the hypothesis that the graphs come from a single distribution, versus the alternative that they are drawn from different distributions. We evaluate the performance of both the fitting algorithm and the hypothesis test in several simulation settings, and demonstrate empirical improvement over existing approaches. We apply these new approaches to a Wikipedia data set and a C. elegans data set.

연구 동기 및 목표

• 기존 모델이 동일한 노드 집합에 대해 다수의 그래프를 다룰 때, 특히 그래프들이 동일한 분포를 가지지 않을 경우의 한계를 해결하기 위해.
• 해당 모델이 단일 그래프 RDPG 모델으로 일반화되면서도 해석 가능성과 정반비대칭성을 유지할 수 있도록 통계적으로 타당한 모델을 개발하기 위해.
• 다양한 차원 간 잠재 벡터의 직교성을 강제함으로써 동시에 추정하는 효율적인 최적화 알고리즘을 제안하기 위해.
• 다수의 그래프가 동일한 기반 분포에서 유래되었는지, 아니면 서로 다른 분포에서 유래되었는지 여부를 통계적으로 검정할 수 있도록 하기 위해.
• 합성 데이터와 실세계 네트워크(위키백과 및 C. elegans 단백질 상호작용 데이터 포함)에서 모델의 성능을 평가하기 위해.

제안 방법

• 잠재 가중치 행렬 $ W^k = U\tilde{\Lambda}^k U^T $ 가 모든 $ k $ 에 대해 정반비대칭이 되도록 요구하는 multi-RDPG 모델을 제안하여, $ K=1 $ 일 때 기존 단일 그래프 RDPG 모델과 정확히 일치함을 보장한다.
• 직교 잠재 행렬 $ U $ 와 대각 행렬 $ \Lambda^k $ 를 번갈아가며 갱신하는 교차 최소화 알고리즘을 개발하며, $ U $ 는 직교 프로크루스테스 문제를 통해 업데이트된다.
• 고정된 $ U $ 에 대해 $ \Lambda^k $ 의 대각성분은 볼록 2차 하위문제의 닫힌 형태 해를 통해 갱신되며, 이는 비음성 보장을 한다.
• 주요화 최소화 접근법을 사용하여 목적 함수를 최적화하며, Lieb의 볼록성 정리를 활용하여 보조 함수의 수렴성과 볼록성을 보장한다.
• 평균 인접행렬과 그 저질서 근사 간의 차이의 프로베니우스 노름을 기반으로 한 가설 검정을 도입하여, 다수의 그래프가 동일한 잠재 구조를 공유하는지 여부를 검정한다.
• 최적화의 초기화를 위해 평균 인접행렬에 대한 특이값 분해를 적용하여 알고리즘의 좋은 시작점을 확보한다.

실험 결과

연구 질문

• RQ1 동일한 노드 집합에 대해 다수의 그래프를 다룰 수 있는 더 해석 가능하고 통계적으로 일관된 랜덤 도트 곱 그래프 모델의 일반화를 개발할 수 있는가?
• RQ2 잠재 구조에 직교성과 정반비대칭성을 강제함으로써, 기존 방법에 비해 모델 피팅 및 추론 성능이 향상되는가?
• RQ3 잠재 벡터의 직교성을 유지하면서도 안정적으로 수렴하는 효율적인 교차 최소화 알고리즘을 설계할 수 있는가?
• RQ4 제안된 가설 검정이 다수의 그래프 간의 그래프 생성 분포의 차이를 얼마나 잘 탐지하는가?
• RQ5 multi-RDPG 모델의 실증적 성능은 위키백과 및 C. elegans 단백질 상호작용 데이터와 같은 실세계 네트워크의 피팅에 얼마나 우수한가?

주요 결과

• multi-RDPG 모델은 $ K=1 $ 일 때 정확히 기존 표준 랜덤 도트 곱 그래프 모델로 축소되며, 이는 이론적 일관성을 유지함을 보여준다.
• 직교 프로크루스테스 업데이트를 통한 제안된 교차 최소화 알고리즘은 안정적으로 수렴하며, 시뮬레이션 데이터에서 MREG 알고리즘보다 높은 피팅 정확도를 보였다.
• 평균 인접행렬의 프로베니우스 노름을 기반으로 한 가설 검정은 시뮬레이션 설정에서 그래프 간 분포의 차이를 높은 검정력으로 탐지하는 데 성공했다.
• 위키백과 데이터셋에서는 다양한 유저 상호작용 네트워크 유형 간에 구분되는 잠재 구조를 성공적으로 식별했다.
• C. elegans 데이터셋에서는 다양한 실험 조건에서 신경 연결 패턴의 의미 있는 차이를 드러내어 생물학적 해석 가능성을 뒷받침했다.
• 특히 이질적인 그래프 분포를 가진 시나리오에서, 피팅 및 검정 작업 전반에 걸쳐 기존 방법에 비해 향상된 실증적 성능을 보였다.