[논문 리뷰] Inference in Sparse Graphs with Pairwise Measurements and Side Information

Dylan J. Foster, Daniel Reichman외 1명|arXiv (Cornell University)|2017. 03. 08.

Topological and Geometric Data Analysis인용 수 3

한 줄 요약

이 논문은 노이즈가 있는 쌍별 간선 측정값과 손상된 정점 레이블에서 유래한 보조 정보를 활용하여 희박한 그래프에서 이진 정점 레이블링을 복원하기 위한 새로운 알고리즘을 제안한다. 트리 분해와 통계적 학습 이론을 활용함으로써, 최소한의 표본 복잡도로 최적의 하밍 오차 한계를 달성하며, 격자, 초격자, 소월드 네트워크와 같은 그래프에서 이전 연구에 비해 크게 향상된다.

ABSTRACT

We consider the statistical problem of recovering a hidden "ground truth" binary labeling for the vertices of a graph up to low Hamming error from noisy edge and vertex measurements. We present new algorithms and a sharp finite-sample analysis for this problem on trees and sparse graphs with poor expansion properties such as hypergrids and ring lattices. Our method generalizes and improves over that of Globerson et al. (2015), who introduced the problem for two-dimensional grid lattices. For trees we provide a simple, efficient, algorithm that infers the ground truth with optimal Hamming error has optimal sample complexity and implies recovery results for all connected graphs. Here, the presence of side information is critical to obtain a non-trivial recovery rate. We then show how to adapt this algorithm to tree decompositions of edge-subgraphs of certain graph families such as lattices, resulting in optimal recovery error rates that can be obtained efficiently The thrust of our analysis is to 1) use the tree decomposition along with edge measurements to produce a small class of viable vertex labelings and 2) apply an analysis influenced by statistical learning theory to show that we can infer the ground truth from this class using vertex measurements. We show the power of our method in several examples including hypergrids, ring lattices, and the Newman-Watts model for small world graphs. For two-dimensional grids, our results improve over Globerson et al. (2015) by obtaining optimal recovery in the constant-height regime.

연구 동기 및 목표

• 노이즈가 있는 간선 측정값과 정점 측정값을 가진 희박한 그래프에서 진정한 이진 정점 레이블링을 복원하는 문제에 대응한다.
• Globerson 등 (2015)의 프레임워크를 확장하여, 초격자와 고리 랏스와 같은 나쁜 확산 특성을 가진 일반적인 희박한 그래프에 적용한다.
• 간선 측정값만으로는 실패하는 희박한 그래프 영역에서 비트리비얼한 복원을 가능하게 하기 위해 보조 정보가 필수적임을 입증한다.
• 나무와 소월드 네트워크를 포함한 다양한 그래프 가족에서 최적의 표본 복잡도와 하밍 오차율을 달성한다.
• 현실적인 노이즈 모델 하에서 날개 없는 표본 분석을 통해 날카운 복원 경계를 확립한다.

제안 방법

• 복잡한 그래프를 다룰 수 있는 부분수형으로 나누기 위해 트리 분해를 사용하여 간선 부분그래프에서 효율적인 추론을 가능하게 한다.
• 각 부분수형 내에서 최적의 레이블링을 계산하기 위해 동적 프로그래밍을 적용하여 위반된 간선 제약 조건의 수를 최소화한다.
• 통계적 학습 프레임워크를 통해 정점 측정값(보조 정보)을 활용하여 레이블 추정치를 정밀하게 조정하고 하밍 오차를 감소시킨다.
• 도수(degree)가 높을 경우 간선 측정값과 정점 측정값을 주로 투표 추정기로 조합하여 낮은 오차율을 보장한다.
• 제약 조건 예산 하에서 최적의 레이블링을 계산하기 위해 트리 구조 그래프에 대해 재귀적 동적 프로그래밍 설정을 도입한다.
• 최소 도수 조건을 활용하고 농도 불확실성 부등식을 적용하여 일반 그래프에 대해 알고리즘을 적응시킨다.

실험 결과

연구 질문

• RQ1 쌍별 간선 측정값과 보조 정보만을 사용하여 나쁜 확산 특성을 가진 희박한 그래프에서 최적의 하밍 오차 복원이 가능한가?
• RQ2 보조 정보의 포함 여부가 초격자와 고리 랏스와 같은 그래프에서 표본 복잡도와 복원 오차에 어떤 영향을 미치는가?
• RQ3 정확한 복원이 불가능한 희박성으로 인해 불가능한 그래프에서 부분 복원의 이론적 한계는 무엇인가?
• RQ4 트리 분해 기법을 비트리 구조 그래프로 일반화하여 최적의 복원률을 달성할 수 있는가?
• RQ5 다양한 그래프 가족에서 간선 및 정점 측정값의 노이즈 수준에 따라 오차율은 어떻게 변화하는가?

주요 결과

• 제안된 알고리즘은 경로 그래프에서 임의의 $ p $ 에 대해 최적의 하밍 오차 $ O(pn) $ 를 달성하며, 간선만을 사용하는 방법이 $ \tilde{O}(n) $ 오차를 유발하는 것에 비해 크게 향상된다.
• 2차원 격자에서는 일정 높이 영역에서 최적의 복원을 달성하며, Globerson 등 (2015)의 결과를 초월한다.
• 최소 도수 $ \theta(\log n) $ 를 가진 그래프에서는 기대 하밍 오차가 $ \exp(-C \cdot \text{deg}(v) \epsilon^2 (1-2p)^2) $ 로 지수적으로 감소하여 $ n \to \infty $ 일 때 근접한 영오차를 달성한다.
• 나무에서 알고리즘은 $ O(nK_n^2) $ 시간에 실행되며, 경로 그래프에 대해서는 선형 시간 버전이 존재하여 효율성과 확장성을 입증한다.
• 보조 정보가 필수적이다: 경로와 같은 희박한 그래프에서는 간선만으로는 비트리비얼한 복원이 불가능하다.
• 소월드 네트워크(예: Newman-Watts 모델)로 일반화 가능하며, 트리 분해와 동적 프로그래밍을 통해 최적의 오차율을 달성한다.