[논문 리뷰] Network cross-validation by edge sampling

Tianxi Li, Elizaveta Levina외 1명|arXiv (Cornell University)|2016. 12. 14.

Complex Network Analysis Techniques참고 문헌 79인용 수 18

한 줄 요약

이 논문은 네트워크 모델 선택과 하이퍼파라미터 튜닝을 위한 유효한 교차검증을 가능하게 하기 위해 노드가 아닌 노드 쌍을 분할하는 새로운 네트워크 리샘플링 방법인 엣지 교차검증(Edge Cross-Validation, ECV)을 제안한다. 부분적으로 관측된 네트워크를 저질서 행렬 복원 문제로 간주함으로써 ECV는 통계적 타당성을 유지하면서도 다양한 작업에서 뛰어난 성능을 보이며, 블록 모델 선택과 정규화 파라미터 튜닝을 포함한다.

ABSTRACT

While many statistical models and methods are now available for network analysis, resampling network data remains a challenging problem. Cross-validation is a useful general tool for model selection and parameter tuning, but is not directly applicable to networks since splitting network nodes into groups requires deleting edges and destroys some of the network structure. Here we propose a new network resampling strategy based on splitting node pairs rather than nodes applicable to cross-validation for a wide range of network model selection tasks. We provide a theoretical justification for our method in a general setting and examples of how our method can be used in specific network model selection and parameter tuning tasks. Numerical results on simulated networks and on a citation network of statisticians show that this cross-validation approach works well for model selection.

연구 동기 및 목표

• 노드를 분할할 경우 네트워크의 구조적 의존성으로 인해 교차검증을 적용하는 데 어려움이 있다는 문제를 해결한다.
• 네트워크의 구조를 유지하면서도 일반적인 목적의 네트워크 모델 선택 및 하이퍼파라미터 튜닝을 위한 리샘플링 전략을 개발한다.
• 네트워크의 기대 인cidience 행렬에 저질서 구조가 있다고 가정할 때 엣지 기반 교차검증의 이론적 근거를 제공한다.
• 스토케스틱 블록 모델, 잠재 공간 모델, 그래폰 모델을 포함한 다양한 네트워크 모델에서 이 방법의 효과성을 입증한다.
• 에지 간의 독립성 위반, 예를 들어 상관관계가 있는 에지가 존재하는 네트워크에서의 강인성(로버스트니)을 평가한다.

제안 방법

• 노드 쌍 (i,j), i<j 를 분할하여 노드가 아닌 에지 기반으로 교차검증을 수행하는 엣지 교차검증(ECV)을 제안한다.
• 각 폴드에 대해 해당 에지를 제거하고 나머지 네트워크를 부분적으로 관측된 네트워크로 간주한다.
• 핵심 범수 최소화 또는 hardImpute와 같은 알고리즘을 사용하여 저질서 행렬 복원을 적용하여 네트워크를 재구성한다.
• 완성된 네트워크를 사용하여 모델을 피팅하고 평가하며, 폴드 간의 교차검증 오차를 계산한다.
• 이론적 근거는 저질서 구조 하에서 완성된 행렬이 진짜 기대 인cidience 행렬 M 근처에 집중한다는 데 기반한다.
• 이 방법은 이진 네트워크와 가중치가 부여된 네트워크 모두에 적용 가능하며, 방향성과 무방향성 그래프를 모두 지원한다.

실험 결과

연구 질문

• RQ1 기본적인 노드 기반 분할이 네트워크의 구조를 파괴하므로 네트워크 데이터에 교차검증을 의미 있게 적용할 수 있는가?
• RQ2 에지 기반 샘플링이 유효한 모델 선택과 하이퍼파라미터 튜닝을 위해 필요한 통계적 성질을 유지하는가?
• RQ3 ECV는 스트로케스틱 블록 모델의 다양한 변종 간에 어떻게 성능을 발휘하는가?
• RQ4 에지 간의 독립성 위반, 예를 들어 상관관계가 있는 에지가 존재하는 네트워크에서 ECV는 어느 정도 강인한가?
• RQ5 ECV는 그래폰 모델에 대한 스펙트럼 클러스터링과 이웃 평활화의 정규화 파라미터 튜닝에 효과적으로 활용될 수 있는가?

주요 결과

• 블록 모델에서 β = 0.2 및 β = 0.3일 경우 ECV는 100%의 정확한 모델 선택 비율을 기록했고, β = 0.4일 경우 0%를 기록하여 낮은 커뮤니티 간 에지 밀도 조건에서 뛰어난 성능을 보였다.
• ECV의 hardImpute 변형은 행렬 복원 오차가 낮아 (0.20 vs. 0.26 프로베니우스 노름) 비슷한 모델 선택 정확도를 기록했으며, 이는 우수한 복원이 선택에 충분함을 시사한다.
• 의존성 있는 에지 시뮬레이션에서 ECV는 모든 ρ 값(0에서 0.5까지)에서 100%의 정확한 커뮤니티 추정 비율을 유지하여 에지 의존성에 대한 강인성을 입증했다.
• Chen & Lei의 방법은 에지 의존성이 증가함에 따라 모델 선택 성능이 저하되었으며(0.98에서 0.95로), 반면 ECV는 안정성을 유지했다.
• 안정성 선택을 통한 ECV는 높은 에지 의존성(ρ = 0.5) 조건에서도 100%의 정확한 선택 비율을 유지했으며, 도전적인 환경에서 기준 방법을 능가했다.
• ECV의 실행 시간은 매우 짧아 0.06초였고, 이는 hardImpute(0.27초)보다 빠르며, 후자는 포트란으로 구현되어 더 빠른 실행을 유리하게 할 수 있다.