[논문 리뷰] Comparison of Cross-Validation Methods for Stochastic Block Models

Beau Dabbs, Brian W. Junker|arXiv (Cornell University)|2016. 05. 10.

Complex Network Analysis Techniques참고 문헌 22인용 수 10

한 줄 요약

이 논문은 노드 간 균형 잡힌 할당을 유지하면서도 직접적으로 간선을 폴드에 할당함으로써 모델 선택 정확도를 햖스는 스토하스틱 블록 모델(SBMs)을 위한 새로운 교차검증 방법인 latinCV를 소개한다. latinCV는 과적합을 크게 줄이고 진정한 모델 복원 정확도를 높여, 블록 구조가 다양하고 소규모에서 중간 규모의 네트워크에서 기존 방법들인 네트워크 교차검증(NCV), AIC, BIC, 모듈러리티 최대화 및 infomap보다 뛰어난 성능을 보인다.

ABSTRACT

We introduce a novel cross-validation method that we call latinCV and we compare this method to other model selection methods using data generated from a stochastic block model. Comparing latinCV to other cross-validation methods, we show that latinCV performs similarly to a method described in \cite{hoff2008modeling} and that latinCV has a significantly larger true model recovery accuracy than the NCV method of \cite{chen2014network}. We also show that the reason for this discrepancy is related to the larger variance of the NCV estimate. Comparing latinCV to alternative model selection methods, we show that latinCV performs better than information criteria AIC and BIC, as well as the community detection method infomap and a routine that attempts to maximize modularity. The simulation study in this paper includes a range of network sizes and generative parameters for the stochastic block model that allow us to examine the relationship between model selection accuracy and the size and complexity of the model. Overall, latinCV performs more accurate model selection, and avoids overfitting better than any of the other model selection methods considered.

연구 동기 및 목표

• 네트워크 데이터에서 스토하스틱 블록 모델(SBMs)에 대한 효과적인 모델 선택 방법의 부족을 해결하기 위해.
• 최근 제안된 방법인 latinCV를 포함한 다양한 교차검증 기법의 성능을 평가하고 비교하기 위해.
• 폴드 할당 전략이 SBMs에서 모델 선택 정확도와 위험 추정에 어떤 영향을 미치는지 평가하기 위해.
• AIC, BIC, 모듈러리티 최대화 및 infomap와 같은 대체 모델 선택 절차와 교차검증 방법을 비교하기 위해.
• 최적의 폴드 수와 균형 잡힌 폴드 할당이 모델 복원 정확도 향상에 기여하는 방식을 규명하기 위해.

제안 방법

• 노드의 폴드 참여를 균형 있게 유지하면서도 간선를 폴드에 할당하는 V-폴드 교차검증 방법인 latinCV를 제안하며, 각 노드의 간선 지표가 균일하게 분포되도록 보장한다.
• 각 간선 Y_ij를 폴드 t에 할당하는 데 사용되는 폴드 할당 행렬 A를 사용하여, Y_ij와 같은 폴드에 속하지 않은 모든 간선을 기반으로 학습을 수행한다.
• 손실 함수 L을 사용해 예측 위험을 추정하며, 모든 폴드에 걸쳐 예측된 연결 확률 p̂_ij^CV와 관측된 간선 지표 Y_ij 간의 경험적 손실 평균을 계산한다.
• 손실 함수 L(Y_ij, p̂_ij^CV)를 사용해 평균 예측 위험을 계산하며, 모델 선택에서 평균 제곱오차를 최소화하는 것을 목표로 한다.
• latinCV를 무작위 할당 기반의 randomCV, 노드 기반 할당 기반의 NCV 및 AIC, BIC, 모듈러리티 최대화, infomap와 같은 대체 방법과 비교한다.
• 다양한 네트워크 크기(30, 60개 노드)와 SBM 파라미터를 가진 시뮬레이션 연구를 통해 모델 복원 정확도와 위험 추정 성능을 평가한다.

실험 결과

연구 질문

• RQ1 스토하스틱 블록 모델(SBMs)의 모델 선택 정확도 측면에서 latinCV는 기존의 교차검증 방법들(NCV, randomCV 등)과 비교해 어떻게 다른가?
• RQ2 특히 노드 균형과 간선 할당 전략이 예측 위험 추정과 모델 복원에 어떤 영향을 미치는가?
• RQ3 기존의 정보 기준(AIC, BIC)과 커뮤니티 탐지 방법(모듈러리티 최대화, infomap)은 교차검증 대비 진정한 SBM 구조를 복원하는 데 얼마나 잘 수행되는가?
• RQ4 폴드 수를 늘여(예: 10개로) latinCV와 randomCV의 모델 선택 정확도가 향상되는가? V ≥ 10일 경우 폴드 균형이 반드시 필요한가?
• RQ5 NCV는 왜 latinCV보다 높은 분산과 열악한 성능을 보이며, 이는 모델 선택 정확도에 어떤 영향을 미치는가?

주요 결과

• latinCV는 주로 NCV의 위험 추정에서 높은 분산으로 인해 NCV보다 유의미하게 더 높은 진정한 모델 복원 정확도를 달성한다.
• 모든 네트워크 크기와 블록 구성에서 latinCV는 AIC, BIC, 모듈러리티 최대화 및 infomap보다 더 정확한 블록 수 선택을 수행한다.
• 30개 노드 네트워크에서, 4블록 모델의 경우 모듈러리티 최대화는 45회의 시험 중 진짜 모델을 8번 선택했고(18%), 5블록 모델의 경우도 8번 선택하여, MSE 최소화 성능이 열악함을 시사한다.
• 60개 노드 네트워크에서는 5블록 모델에서 진짜 모델을 45회 중 7번, 4블록 모델에서는 6번 선택하여, 과적합 경향이 더욱 뚜렷하게 확인된다.
• 진짜 모델이 블록을 하나 이상 가진 경우 BIC는 latinCV와 유사한 성능을 보였지만, 네트워크가 커질수록 과적합이 증가하여 사전 점근적 설정에서는 특정 사양이 정확하지 않다는 점을 시사한다.
• 10개 이상의 폴드를 사용할 경우 latinCV와 randomCV의 성능이 유사하여, 충분한 폴드 수가 확보되면 폴드 균형이 덜 중요하며, 간선 기반 할당만으로도 정확한 위험 추정이 가능함을 시사한다.