[논문 리뷰] Reconstructing undirected graphs from eigenspaces

Yohann de Castro, Thibault Espinasse외 1명|arXiv (Cornell University)|2016. 03. 26.

Markov Chains and Monte Carlo Methods참고 문헌 14인용 수 7

한 줄 요약

이 논문은 인접 행렬의 교란된 고유공간으로부터 방향성이 없는 가중치가 있는 그래프를 재구성하기 위한 새로운 방법을 제안한다. 이는 추정된 연산자와 진짜 연산자 간의 교환자(Frobenius 노름 기반)에 기반한 역방향 선택 알고리즘을 사용한다. 에르되시-레니(random graph model)에서 식별 가능성에 대한 날카로운 단계 전이를 $ N\log N/2 $ 개의 기대 간선에서 규명하였으며, 지원 복구에 대한 이론적 보장과 시뮬레이션 및 실세계 데이터에서의 실증적 검증을 수행하였다.

ABSTRACT

In this paper, we aim at recovering an undirected weighted graph of $N$ vertices from the knowledge of a perturbed version of the eigenspaces of its adjacency matrix $W$. For instance, this situation arises for stationary signals on graphs or for Markov chains observed at random times. Our approach is based on minimizing a cost function given by the Frobenius norm of the commutator $\mathsf{A} \mathsf{B}-\mathsf{B} \mathsf{A}$ between symmetric matrices $\mathsf{A}$ and $\mathsf{B}$. In the Erdős-Rényi model with no self-loops, we show that identifiability (i.e., the ability to reconstruct $W$ from the knowledge of its eigenspaces) follows a sharp phase transition on the expected number of edges with threshold function $N\log N/2$. Given an estimation of the eigenspaces based on a $n$-sample, we provide support selection procedures from theoretical and practical point of views. In particular, when deleting an edge from the active support, our study unveils that our test statistic is the order of $\mathcal O(1/n)$ when we overestimate the true support and lower bounded by a positive constant when the estimated support is smaller than the true support. This feature leads to a powerful practical support estimation procedure. Simulated and real life numerical experiments assert our new methodology.

연구 동기 및 목표

• 오직 고유공간의 교란된 복사본만 제공될 때 비방향성 가중치 그래프를 재구성하는 문제를 다루는 것.
• 특히 무작위 그래프 모델에서 고유공간으로부터 그래프 구조가 언제 식별 가능한지 조건을 설정하는 것.
• 소음이 있는 고유공간 데이터로부터 그래프의 간선 집합(지원)을 회복하기 위한 실용적이고 이론적으로 타당한 추정 절차를 개발하는 것.
• 역방향 선택에서의 경험 대비 함수 행동을 분석하여 진짜 지원을 과대추정하거나 과소추정할 경우를 구분하는 것.
• 시뮬레이션 및 실제 데이터 세트에 대한 수치 실험을 통해 방법을 검증하는 것.

제안 방법

• 비용 함수를 최소화하는 방법으로, 추정된 연산자 $ \widehat{\mathsf{K}} $ 의 고유공간에 속하는 대칭 행렬 $ \mathsf{A} $ 를 사용하여 교환자 $ \|\mathsf{A}\widehat{\mathsf{K}} - \widehat{\mathsf{K}}\mathsf{A}\| $ 의 프로베니우스 노름을 기반으로 한다.
• 경험 대비 함수에 기반하여 초기 진짜 지원의 초집합에서 간선을 반복적으로 제거하는 역방향 선택 알고리즘을 사용한다.
• 이론적 분석을 통해 교환자 노름을 부분곱성과 교란 경계를 이용하여 바운드하며, $ \|\mathsf{A}\widehat{\mathsf{K}} - \widehat{\mathsf{K}}\mathsf{A}\| $ 를 $ \|\widehat{\mathsf{K}} - \mathsf{K}\| $ 과 진짜 교환자 $ \|\mathsf{A}\mathsf{K} - \mathsf{K}\mathsf{A}\| $ 과 연결한다.
• 과대추정(활동 집합이 진짜 지원보다 크다)과 과소추정(활동 집합이 진짜 지원보다 작다)의 경우를 분리하여, 잘못된 지원 복구 확률을 통제한다.
• 과대추정의 경우, 검정 통계량은 $ \mathcal{O}(1/n) $ 이다; 과소추정의 경우, 양의 상한값으로 하한이 존재하여 진짜 지원을 신뢰성 있게 탐지할 수 있다.
• 슬라츠키의 보조정리와 추정 오차 하에서 설계 행렬의 의사역행렬 수렴성을 이용하여 추정량의 점근 정규성을 확립한다.

실험 결과

연구 질문

• RQ1 비방향성 그래프의 인접 행렬이 고유공간으로부터 언제 식별 가능한가?
• RQ2 에르되시-레니 무작위 그래프 모델에서 식별 가능성의 임계값은 무엇인가?
• RQ3 추정된 지원이 진짜 간선 집합을 과대추정하거나 과소추정할 경우 경험적 교환자 노름은 어떻게 행동하는가?
• RQ4 교환자 노름 기반의 역방향 선택 절차는 소음이 있는 고유공간 추정치로부터 진짜 그래프 구조를 신뢰성 있게 복구할 수 있는가?
• RQ5 유한 표본 및 점근적 성질 측면에서 제안된 추정량의 지원 복구 및 추정 오차에 대해 어떤 특성이 있는가?

주요 결과

• 에르되시-레니 모델에서 고유공간으로부터 그래프의 식별 가능성은 $ N\log N/2 $ 개의 기대 간선에서 날카로운 단계 전이를 보인다.
• 추정된 지원이 진짜 지원을 과대추정할 경우, 경험적 교환자 노름은 $ \mathcal{O}(1/n) $ 의 순서가 된다.
• 추정된 지원이 진짜 지원을 과소추정할 경우, 경험적 교환자 노름은 양의 상한값으로 하한이 존재하여 모델 잘못 설정을 탐지할 수 있다.
• 정규화 매개변수 $ \lambda_n $ 에 대한 적절한 조건 하에서, 잘못된 지원 복구 확률은 표본 크기와 함께 지수적으로 감소한다.
• 제안된 역방향 선택 알고리즘은 약간의 정규성 조건 하에서 일관된 지원 복구를 달성하며, 농도 및 교란 경계를 통한 이론적 보장을 얻는다.
• 시뮬레이션 및 실세계 데이터에 대한 수치 실험을 통해, 이 방법이 소음이 있는 고유공간 정보로부터 그래프 구조를 효과적이고 강건하게 복구할 수 있음을 확인하였다.