[논문 리뷰] Incremental Computation of Pseudo-Inverse of Laplacian: Theory and Applications

Gyan Ranjan, Zhili Zhang외 1명|arXiv (Cornell University)|2013. 04. 08.

Complex Network Analysis Techniques참고 문헌 47인용 수 9

한 줄 요약

이 논문은 비방향 그래프에서 조합적 라플라시안 행렬의 모어-펜로즈 의사역행렬의 증분 계산을 위한 새로운 분할정복 알고리즘을 제안한다. 효과적 저항 거리와 닫힌형 스칼라 업데이트를 활용하여, 간선 삽입 또는 삭제 시 요소 수준에서 독립적이고 병렬화 가능한 업데이트를 가능하게 함으로써, 동적 그래프에서 O(κ·n²)의 시간 복잡도를 달성한다. 이는 한 단계 정도의 속도 향상이다.

ABSTRACT

A divide-and-conquer based approach for computing the Moore-Penrose pseudo-inverse of the combinatorial Laplacian matrix $(\bb L^+)$ of a simple, undirected graph is proposed. % The nature of the underlying sub-problems is studied in detail by means of an elegant interplay between $\bb L^+$ and the effective resistance distance $(Ω)$. Closed forms are provided for a novel {\em two-stage} process that helps compute the pseudo-inverse incrementally. Analogous scalar forms are obtained for the converse case, that of structural regress, which entails the breaking up of a graph into disjoint components through successive edge deletions. The scalar forms in both cases, show absolute element-wise independence at all stages, thus suggesting potential parallelizability. Analytical and experimental results are presented for dynamic (time-evolving) graphs as well as large graphs in general (representing real-world networks). An order of magnitude reduction in computational time is achieved for dynamic graphs; while in the general case, our approach performs better in practice than the standard methods, even though the worst case theoretical complexities may remain the same: an important contribution with consequences to the study of online social networks.

연구 동기 및 목표

• n-정점 그래프에서 라플라시안 행렬의 모어-펜로즈 의사역행렬을 계산할 때 발생하는 높은 계산 비용(O(n³)의 복잡도)를 해결한다.
• 노드/간선 변화로 인해 빈번히 업데이트되는 동적 그래프(예: 온라인 소셜 네트워크)에서의 확장성 장벽을 극복한다. 이는 배치 재계산이 불가능하게 만든다.
• 대규모 희소 실세계 네트워크에서 간선 삽입(구조적 융합) 및 삭제(구조적 분리) 시 의사역행렬에 대한 효율적이고 증분적인 업데이트를 가능하게 한다.
• 업데이트의 요소 수준 독립성을 보장함으로써 병렬 처리를 가능하게 하여 분산 시스템에서의 성능 향상을 도모한다.
• 효과적 저항 거리와 닫힌형 행렬 업데이트 규칙을 이용한 이론적 기반을 제공하여 시간에 따라 변화하는 네트워크에서의 실용적 구현을 가능하게 한다.

제안 방법

• κ개의 간선을 제거하여 그래프를 두 개의 연결된 부분그래프로 반복적으로 분할함으로써 분할정복 전략을 적용한다. 이는 독립적인 부분문제를 생성한다.
• 삭제된 간선을 한 개씩 다시 삽입함으로써 원래 그래프를 점진적으로 재구성하며, 중간 단계에서의 스패닝 부분그래프를 유지한다.
• 효과적 저항 거리와 행렬 항등식(예: Sherman-Morrison 공식)에서 유도된 닫힌형 스칼라 업데이트 규칙을 사용하여 의사역행렬을 증분적으로 계산한다.
• 간선 삽입에 대해 $(\mathbf{L}^{+}_{G_2})_{xy} = (\mathbf{L}^{+}_{G_1})_{xy} - \frac{(l^{+}_{x1}-l^{+}_{x2})(l^{+}_{1y}-l^{+}_{2y})}{\omega_{12} + \Omega^{G_1}_{12}}$ 와 같은 식을 활용하고, 간선 삭제 시에도 유사한 형태의 식을 사용한다.
• 업데이트의 요소 수준 독립성을 확보하여 다중 프로세서 또는 머신 간 전면적인 병렬 처리를 가능하게 한다.
• 작은 세계 성질을 지닌 희소 스케일프리 실세계 네트워크에 이 방법을 적용하여, 이론적 최악 복잡도가 그대로 유지되더라도 실용적 효율성을 입증한다.

실험 결과

연구 질문

• RQ1 동적 그래프에서 라플라시안 행렬의 모어-펜로즈 의사역행렬을 삼차 이하의 시간 복잡도로 증분적으로 계산할 수 있는가?
• RQ2 효과적 저항 거리를 어떻게 활용하여 간선 삽입 또는 삭제 시 의사역행렬의 닫힌형 업데이트 규칙을 도출할 수 있는가?
• RQ3 요소 수준의 독립성 덕분에 증분 업데이트 과정이 어느 정도 병렬화될 수 있는가?
• RQ4 온라인 소셜 네트워크와 같은 대규모 실세계 네트워크에서 실질적인 계산 성능 향상은 어느 정도인가?
• RQ5 이론적 업데이트 규칙은 실 그래프 데이터에서 수치적 안정성과 정확도 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 동적 그래프에서 계산 시간을 한 단계 정도 감소시켜 O(κ·n²)의 복잡도를 달성한다. 여기서 κ는 컷 세트에 속한 간선 수이다.
• 최악의 이론적 복잡도가 여전히 O(n³)이지만, 局부적인 변화 덕분에 업데이트당 O(n²)의 비용으로 의사역행렬의 증분 계산이 가능하다.
• 요소 수준의 업데이트 규칙은 완전히 독립적이므로, 다수의 머신 간 전면적인 병렬 처리가 가능하여 벽시계 시간을 크게 단축시킨다.
• 효과적 저항 거리와 행렬 항등식을 이용한 이론적 유도를 통해 간선 삽입 및 삭제 모두에 대해 정확한 스칼라 업데이트 공식을 도출할 수 있다.
• 파워-레인지 도수 분포와 소월드 특성을 지닌 실세계 네트워크에서 기존의 배치 역행렬 계산 기법보다 실질적으로 뛰어난 성능을 발휘한다.
• 실증 결과는 이 방법이 온라인 소셜 네트워크와 같이 빈번한 국소적 업데이트가 발생하는 시간에 따라 변화하는 네트워크에서 확장성과 효율성이 뛰어나다는 것을 확인한다.