[논문 리뷰] Estimating Graph Dimension with Cross-validated Eigenvalues

Fan Chen, Sébastien Roch외 2명|arXiv (Cornell University)|2021. 08. 06.

Random Matrices and Applications참고 문헌 54인용 수 4

한 줄 요약

이 논문은 잠재 차원 수 $k$ 를 추정하기 위해 비모수적 가정 없이 교차검증 기반 방법인 고유벡터 교차검증(Eigenvector Cross-Validation, EigCV)을 제안한다. 인접행렬을 훈련 및 테스트 세트로 분할하여, 각 표본 고유벡터가 진정한 잠재공간과 수직인지 검증하기 위해 교차검증된 고유값을 계산함으로써, 특히 전통적인 스크리 플롯이 실패하는 희박하거나 고차원적 설정에서 $k$ 의 일致된 추정을 달성한다.

ABSTRACT

In applied multivariate statistics, estimating the number of latent dimensions or the number of clusters, $k$, is a fundamental and recurring problem. We study a sequence of statistics called "cross-validated eigenvalues." Under a large class of random graph models, including both Poisson and Bernoulli edges, without parametric assumptions, we provide a $p$-value for each cross-validated eigenvalue. It tests the null hypothesis that the sample eigenvector is orthogonal to (i.e., uncorrelated with) the true latent dimensions. This approach naturally adapts to problems where some dimensions are not statistically detectable. In scenarios where all $k$ dimensions can be estimated, we show that our procedure consistently estimates $k$. In simulations and data example, the proposed estimator compares favorably to alternative approaches in both computational and statistical performance.

연구 동기 및 목표

• 기존의 스크리 플롯이 표본 고유값의 편향으로 인해 실패하는 경우에도 잠재 차원 수 $k$ 를 추정하는 데 지속적으로 도전하는 문제를 해결하기 위해.
• 단지 $k$ 차원 중 일부만 통계적으로 탐지 가능한 상황에 적응할 수 있는 방법을 개발하기 위해.
• 모수적 가정 없이 계산 효율성이 높고, 특히 희박한 그래프에서 통계적 검정력을 유지하는 $k$ 추정을 위한 비모수적 접근법을 제공하기 위해.
• 각 고유벡터가 진정한 잠재 구조와 관련이 있는지 교차검증된 고유값을 통해 공식적인 가설 검정을 수행하기 위해.

제안 방법

• 메서드는 인접행렬 $A$ 를 이항 희소화 확률 $1-\varepsilon$ 를 사용해 두 개의 독립 행렬 $\tilde{A}$ 와 $\tilde{A}_{\text{test}}$ 로 분할함으로써, 귀무가설 하에서 동일한 분포를 가지도록 보장한다.
• 희박한 그래프에서 스펙트럼 성질을 안정화하기 위해 정규화 및 정규화된 인접행렬 $L = DAD$ 를 사용하며, 여기서 $D_{ii} = (d_i + \tau)^{-1/2}$ 이다.
• 각 $\tilde{A}$ 의 고유벡터에 대해, 그 고유벡터와 테스트 행렬 $\tilde{A}_{\text{test}}$ 의 내적을 계산하여 교차검증된 고유값 $\lambda_{\text{cv}}$ 를 산출한다.
• 귀무가설 하에서 고유벡터가 진정한 잠재공간과 수직임을 가정할 때, 검정통계량에 중심극한정리 적용을 통해 각 고유벡터에 대한 $p$-값을 유도한다.
• 유의미한 고유벡터의 수(임계치 이하의 $p$-값을 가진 고유벡터)를 추정된 $k$ 로 간주하며, 모든 $k$ 차원이 탐지 가능한 경우 일致성 보장이 가능하다.
• 모델 잘못 설정에 대해 강건하며, 베르누이 및 포oisson 간선 분포 모두에서 잘 작동하며, 교차검증의 분할 수가 높을수록 성능 향상이 이루어진다.

실험 결과

연구 질문

• RQ1 기존의 스크리 플롯이 고유값 편향으로 인해 실패하는 경우, 교차검증 프레임워크가 잠재 차원 탐지에 도움이 될 수 있는가?
• RQ2 표본 고유벡터가 진정한 인구 고유벡터와 실제로 관련이 있는지 공식적으로 검정할 수 있는 방법은 무엇인가?
• RQ3 모든 $k$ 차원이 통계적으로 탐지 가능한 상황이 아니더라도, 제안된 방법이 $k$ 의 추정에서 일관성을 유지하는가?
• RQ4 표준 스펙트럼 방법이 편향이 발생하는 것으로 알려진 희박한 그래프에서 이 방법의 성능은 어떠한가?
• RQ5 교차검증의 분할 수가 각 고유벡터에 대한 귀무가설 검정의 유형 I 오류와 검정력에 어떤 영향을 미치는가?

주요 결과

• 모든 $k$ 차원이 탐지 가능한 경우 EigCV 는 미약한 식별성 조건 하에서 일관된 $k$ 추정을 보이며, 이를 증명한다.
• 시뮬레이션 결과, 특히 희박한 그래프에서 StGoF, BHMC, NCV 와 같은 대안적 방법에 비해 상대 오차가 낮고 변동성이 감소한 것으로 나타났다.
• 22,688개 노드를 가진 실세계 이메일 네트워크에서 EigCV 는 $k = 30.56$ 를 추정하였으며, BHMC($14.00$) 및 LR($13.00$) 에 비해 진짜 차원에 훨씬 가까웠고, 빠른 실행 시간(0.81초 대비 128.17초)을 기록했다.
• 베르누이 및 포oisson 간선 모델 모두에서 강건하게 유지되며, 포oisson 모델이 베르누이 모델에 비해 더 정확한 표준오차 추정치를 제공한다.
• 교차검증의 분할 수를 늘릴수록 검정통계량의 분산이 감소하여 $T_2$ 는 더 강력해지지만 $T_3$ 와 $T_4$ 는 더 보수적으로 작동하며, 근처 정규분포를 유지한다.
• 교차검증된 고유값 검정은 스크리 플롯에서의 임의의 무릎 탐지 방식을 피하는 원칙적인 비모수적 방법으로, 각 고유벡터의 통계적 유의성을 평가할 수 있다.