[논문 리뷰] Maximizing weighted Shannon entropy for network inference with little data

Danh-Tai Hoang, Juyong Song외 2명|arXiv (Cornell University)|2017. 05. 18.

Neural dynamics and brain function인용 수 2

한 줄 요약

이 논문은 작은 데이터셋에서 모델 복원을 향상시키기 위해 가중 샤논 엔트로피를 최대화하는 통계역학 기반 접근법을 제안한다. 데이터의 자유 에너지를 최소화함으로써, 비평형 운동 이징 모델의 상호작용 강도를 정확하게 추론하고, 제한된 데이터와 높은 상호작용 강도 변동성 조건에서도 샘러맨드의 망막에서의 功能적 연결성과 환율 거래 네트워크를 성공적으로 재구성할 수 있다.

ABSTRACT

Success in modeling complex phenomena such as human perception hinges critically on the availability of data and computational power. Significant progress has been made in modeling such phenomena using probabilistic methods, particularly in image analysis and speech recognition. Maximum Likelihood Estimation (MLE) combined with Bayesian model selection is the basis of much of this progress, as MLE converges to the true model with copious data. In the sciences, large enough datasets are rarae aves, so alternatives to MLE must be developed for small sample size. We introduce a data-driven statistical physics approach to model inference based on minimizing a free energy of data and show superior model recovery for small sample sizes. We demonstrate coupling strength inference in non-equilibrium kinetic Ising models, including in the difficult large coupling variability regime, and show scaling to systems of arbitrary size. As applications, we infer a functional connectivity network in the salamander retina and a currency exchange rate network from time-series data of neuronal spiking and currency exchange rates, respectively. Accurate small sample size inference is critical for devising a profitable currency hedging strategy.

연구 동기 및 목표

• 자극적 데이터 부족 상황에서의 정확한 네트워크 추론 문제를 다루며, 이는 신경과학과 금융 모델링에서 흔한 문제이다.
• 작은 표본 크기에서 실패하는 최대우도추정(MLE)의 한계를 극복한다.
• 자기결합 자유 에너지 최소화를 활용하여 비평형 시스템에서의 모델 복원을 향상시키는 데이터 기반 방법을 개발한다.
• 특히 상호작용 강도의 변동성이 높은 영역에서, 임의의 크기의 시스템에 대해 확장 가능한 추론을 가능하게 한다.
• 실제 생물학적 및 금융 응용 분야에서의 실용성을 입증한다. 예를 들어, 망막 기능적 연결성과 환율 거래 네트워크를 대상으로 한다.

제안 방법

• 통계역학 원리에서 유도된 데이터 가능도와 엔트로피 정규화를 조합한 자유 에너지 기능을 수립한다.
• 데이터 부족 상황에서 과적합을 방지하고 일반화 능력이 뛰어난 모델을 선호하기 위해 가중 샤논 엔트로피를 최대화한다.
• 시간 시리즈 데이터로부터 상호작용 강도를 추론하는 비평형 운동 이징 모델에 이 방법을 적용한다.
• 결합에 대한 사후분포를 근사하기 위해 변분 추론 기법을 사용하여 자유 에너지를 최적화한다.
• 평균장 근사와 효율적인 수치 해법기를 활용하여 대규모 시스템에 대한 추론 프레임워크를 확장한다.
• 모델 복잡도와 데이터 적합도의 균형을 맞추기 위해 베이지안 모델 선택과 이 방법을 통합한다.

실험 결과

연구 질문

• RQ1 가중 엔트로피 최대화 기반의 자유 에너지 최소화 접근법은 작고 제한된 표본에서 MLE를 능가할 수 있는가?
• RQ2 높은 상호작용 강도 변동성 조건에서 비평형 운동 이징 모델의 상호작용 강도를 얼마나 정확하게 복원하는가?
• RQ3 제한된 시간 시리즈 데이터에서 대규모 시스템의 기능적 연결성을 추론하는 데 이 방법을 확장할 수 있는가?
• RQ4 이 접근법은 희소 데이터 조건에서 실제 생물학적 및 금융 시스템의 기능적 네트워크를 정확하게 재구성할 수 있는가?
• RQ5 저자료 영역에서 엔트로피 가중치가 모델 일반화 및 내성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 특히 높은 상호작용 강도 변동성 조건에서 MLE보다 모델 복원 정확도가 뚜렷이 향상된다.
• 제한된 뉴런의 스파iking 데이터를 바탕으로 샘러맨드 맹금의 기능적 연결성을 성공적으로 추론하여 생물학적으로 타당한 네트워크 구조를 드러냈다.
• 짧은 시간 시리즈 데이터로부터 환율 거래 네트워크의 정확한 추론이 가능하여 수익성 있는 헤지 전략 개발을 지원한다.
• 시스템의 크기가 증가함에 따라 정확도를 유지하면서도, 임의의 크기의 시스템에 대해 효과적으로 확장 가능한 프레임워크를 제공한다.
• 가중 샤논 엔트로피 최대화가 과적합을 감소시켜 자료가 부족한 상황에서 일반화 능력을 향상시킨다.
• 자유 에너지 최소화는 MLE에 대한 원리적인 대안을 제공하며, 저자료, 고변동성 설정에서 더 뛰어난 성능을 보인다.