[논문 리뷰] Flexible Model Selection for Mechanistic Network Models via Super Learner

Sixing Chen, Antonietta Mira외 1명|arXiv (Cornell University)|2018. 04. 01.

Markov Chains and Monte Carlo Methods참고 문헌 44인용 수 2

한 줄 요약

이 논문은 기계적 네트워크 모델에 대한 민첩한 모델 선택 프레임워크를 제안하며, 초과 학습(Ensemble) 방법과 근사 베이지안 계산(ABC)을 결합하여, 계산이 불가능한 우도 함수가 존재하는 상황에서도 정확한 모델 간 구별이 가능하게 한다. 이 방법은 정방향 시뮬레이션을 활용하고 모델 선택의 불확실성을 정량화하며, 시뮬레이션에서 뛰어난 성능을 보인다.

ABSTRACT

Application of network models can be found in many domains due to the variety of data that can be represented as a network. Two prominent paradigms for modeling networks are statistical models (probabilistic models for the final observed network) and mechanistic models (models for network growth and evolution over time). Mechanistic models are easier to incorporate domain knowledge with, to study effects of interventions and to forward simulate, but typically have intractable likelihoods. As such, and in a stark contrast to statistical models, there is a dearth of work on model selection for such models, despite the otherwise large body of extant work. In this paper, we propose a procedure for mechanistic network model selection that makes use of the Super Learner framework and borrows aspects from Approximate Bayesian Computation, along with a means to quantify the uncertainty in the selected model. Our approach takes advantage of the ease to forward simulate from these models, while circumventing their intractable likelihoods at the same time. The overall process is very flexible and widely applicable. Our simulation results demonstrate the approach's ability to accurately discriminate between competing mechanistic models.

연구 동기 및 목표

• 광범위하게 사용되지만 통계적 검증 도구가 부족한 기계적 네트워크 모델에 대한 체계적인 모델 선택 방법의 부족을 해결한다.
• 표준 우도 기반 모델 비교를 방해하는 기계적 모델에서의 계산이 불가능한 우도 문제를 극복한다.
• 도메인 지식을 통합하고 모델 선택의 불확실성을 정량화할 수 있는 민첩하고 시뮬레이션 기반 프레임워크를 개발한다.
• 데이터 기반의 앙상블 학습 접근법을 통해 경쟁적 기계적 모델 간 신뢰할 수 있는 선택을 가능하게 한다.
• 네트워크 성장 과정이 관심 대상인 다양한 분야에 일반적으로 적용 가능한 솔루션을 제공한다.

제안 방법

• 다양한 후보 기계적 네트워크 모델을 통합하여 앙상블 예측자로 조합하기 위해 Super Learner 프레임워크를 적응한다.
• 각 모델에서 시뮬레이션한 네트워크를 관측된 네트워크와 요약 통계를 사용하여 비교하기 위해 근사 베이지안 계산(ABC)을 사용한다.
• 명시적인 우도 계산이 필요 없도록 각 후보 모델 하에서 합성 네트워크를 생성하기 위해 정방향 시뮬레이션을 활용한다.
• ABC 가중 예측에 기반하여 메타-학습자를 훈련시켜 최적의 모델 조합을 선택함으로써 선택 정확도를 향상시킨다.
• ABC 반복 수행 동안 Super Learner 가중치의 변동성을 추정하여 모델 선택의 불확실성을 정량화한다.
• 시뮬레이션된 네트워크와 관측된 네트워크 간의 유사성을 확보하기 위해 정보성 요약 통계를 사용한다.

실험 결과

연구 질문

• RQ1 우도 함수가 계산이 불가능한 상황에서 Super Learner 기반 앙상블 접근법이 최적의 기계적 네트워크 모델을 효과적으로 선택할 수 있는가?
• RQ2 모의 실험에서 제안된 방법이 경쟁적 기계적 모델을 얼마나 잘 구별할 수 있는가?
• RQ3 이 프레임워크를 통해 모델 선택의 불확실성은 어느 정도 정량화되고 보고될 수 있는가?
• RQ4 이 방법은 다양한 네트워크 구조와 성장 메커니즘에서 어떻게 성능을 발휘하는가?
• RQ5 이 방법은 모델 특화 수정 없이도 다양한 분야에 민감하게 적용될 수 있는가?

주요 결과

• 제안된 방법은 시뮬레이션 연구에서 계산이 불가능한 우도 함수가 존재하는 상황에서도 경쟁적 기계적 네트워크 모델을 높은 정확도로 구별한다.
• Super Learner와 ABC의 통합은 우도 함수가 계산이 불가능한 상황에서도 강력한 모델 선택을 가능하게 한다.
• 선택된 모델의 불확실성은 정량화 가능하며, 모델 선택 결정에 대한 신뢰를 제공한다.
• 이 프레임워크는 다양한 네트워크 유형과 도메인 특화 성장 메커니즘에 대해 민첩하고 광범위하게 적용 가능하다.
• 다양한 후보 모델에 걸쳐 앙상블 학습을 활용함으로써 개별 모델 선택 전략보다 더 뛰어난 성능을 발휘한다.
• 정방향 시뮬레이션만으로도 모델 비교가 충분하며, 분석적 우도 계산이 필요 없어진다.