[논문 리뷰] A fast and accurate algorithm for inferring sparse Ising models via parameters activation to maximize the pseudo-likelihood

Silvio Franz, Federico Ricci‐Tersenghi외 1명|arXiv (Cornell University)|2019. 01. 31.

Theoretical and Computational Physics참고 문헌 7인용 수 5

한 줄 요약

이 논문은 가짜-우도를 최대화하기 위해 가장 정보가 많은 매개변수를 반복적으로 활성화하는 빠르고 정확한 알고리즘인 PAMPL을 소개한다. 이는 MPF와 같은 기존 방법보다 재구성 정확도에서 뛰어나면서도, 특히 희박한 그래프에서 반복당 계산 비용이 낮은 $O(N)$이므로 유사한 속도를 유지한다.

ABSTRACT

We propose a new algorithm to learn the network of the interactions of pairwise Ising models. The algorithm is based on the pseudo-likelihood method (PLM), that has already been proven to efficiently solve the problem in a large variety of cases. Our present implementation is particularly suitable to address the case of sparse underlying topologies and it is based on a careful search of the most important parameters in their high dimensional space. We call this algorithm Parameters Activation to Maximize Pseudo-Likelihood (PAMPL). Numerical tests have been performed on a wide class of models such as random graphs and finite dimensional lattices with different type of couplings, both ferromagnetic and spin glasses. These tests show that PAMPL improves the performances of the fastest existing algorithms.

연구 동기 및 목표

• 진짜 네트워크 구조가 알려져 있지 않은 희박한 그래프 모델에서 역 이징 문제를 해결하기 위해 데이터로부터 네트워크 구조를 추론하는 것.
• 기존의 가짜-우도 방법에서 전체 매개변수 최적화의 비효율성, 특히 기저가 되는 그래프가 희박할 경우의 문제를 해결하기 위해.
• 가장 관련성이 높은 상호작용에 집중하여 계산을 수행하는 확장 가능한 알고리즘을 개발하여, 비활성화되거나 관련이 없는 매개변수에 대한 불필요한 연산을 줄이기 위해.
• 낮은 반복당 계산 비용을 유지하면서도 진짜 네트워크 구조를 높은 정확도로 재구성하는 것.
• 제한된 데이터와 높은 차원성 조건에서 기존 방법들인 MPF와 탈구성 기반 가짜-우도 방법에 대한 강력한 대안을 제공하기 위해.

제안 방법

• 알고리즘은 가짜-우도 기울기 기여도에 기반해 가장 관련성이 높은 상호작용 $J_{ij}$만 선택적으로 업데이트하는 매개변수 활성화 전략을 사용한다.
• 반복당 비용을 $O(N^2)$에서 $O(N)$으로 줄이기 위해 미니배치 스토하스틱 최적화 기법을 적용하여 기울기 계산을 효율적으로 수행한다.
• 핵심 최적화는 분할 함수를 직접 계산하지 않기 때문에 계산이 어려운 문제를 피하기 위해 개별 스핀 조건부로 정의된 로그-가짜-우도 함수 $\mathcal{S}(J)$를 대상으로 한다.
• 학습률 $\epsilon$을 사용하여 $\mathcal{S}(J)$에 대해 기울기 상승을 수행하며, 목적함수의 상대적 변화 $\Delta K / K$를 기반으로 정지 기준을 설정한다.
• 최적화 후에 희박한 구조를 복구하기 위해 임계값 처리 절차를 적용하며, 이는 다른 가짜-우도 방법과 유사하다.
• 알고리즘은 유사한 업데이트 규칙을 가지지만 활성화 기반 선택 메커니즘이 없는 Minimum Probability Flow (MPF)와 비교된다.

실험 결과

연구 질문

• RQ1 매개변수 활성화 전략이 희박한 이징 모델에서 가짜-우도 기반 추론의 효율성과 정확도를 향상시킬 수 있는가?
• RQ2 PAMPL의 계산 비용은 기존 방법과 비교해 시스템 크기 $N$과 역온도 $\beta$에 따라 어떻게 변화하는가?
• RQ3 PAMPL은 희박한 그래프에서 MPF 및 기타 최첨단 알고리즘보다 더 높은 재구성 정확도를 달성하는가?
• RQ4 미니배치 크기와 학습률이 PAMPL의 수렴과 최종 오차에 미치는 영향은 어떠한가?
• RQ5 특히 샘플 수가 적은 상황에서 네트워크 구조에 대한 사전 지식 없이도 알고리즘이 진짜 네트워크 구조를 신뢰성 있게 식별할 수 있는가?

주요 결과

• PAMPL은 무작위 그래프와 2D 페로자성 격자에서 모두 MPF 및 기타 가짜-우도 방법보다 더 높은 재구성 정확도를 달성하며, 이는 진짜 양성률(TPR)과 진짜 음성률(TNR)로 측정된다.
• 알고리즘은 반복당 비용을 $O(N)$로 유지하여, 표준 가짜-우도 방법에서의 $O(N^2)$ 비용보다 훨씬 빠르다.
• 2D 페로자성 격자에서 $N=36$, $M=5000$, $\beta=0.5$ 조건에서 PAMPL은 700회 반복 후 TPR과 TNR 모두 0.98 이상을 기록하며 오차 $\epsilon \approx 0.025$를 달성한다.
• PAML과 MPF의 실행 시간은 유사하며, $\beta \in \{0.2, 0.3, 0.4, 0.5\}$ 범위에서 $N$에 대해 로그 스케일링으로 증가한다. 이는 그림 13에 나타나 있다.
• 오차 $\epsilon$(식 9에 정의됨)는 $M$이 증가함에 따라 감소하며, $\beta$에 민감하며 높은 온도에서 더 빠른 수렴을 보인다.
• 높은 TPR과 TNR에도 불구하고 초기 단계에서는 상호작용 값이 진짜 값에서 멀리 떨어져 있어, 네트워크의 구조적 수렴이 매개변수 정확도 수렴보다 빠르다는 것을 시사한다.