[논문 리뷰] Data-efficient surrogate modeling of spectral functions using Gaussian processes: An application to the $t$-$t'$-$t''$-$J$ model

Sanket Jantre, Nathan M. Urban외 2명|arXiv (Cornell University)|2026. 03. 13.

Machine Learning in Materials Science인용 수 0

한 줄 요약

데이터 효율적인 t–t′–t″–J 모델의 스펙트럴 함수에 대한 순방향 대체 모형을 심층 커널 가우시안 프로세스(DKL-SVGP)로 구현하여 데이터 축소 FFNN 기준으로 성능을 향상시키고 전체 데이터 성능에 근접한다.

ABSTRACT

Spectral functions encode key many-body information but are costly to compute with high fidelity. Machine-learning surrogates have emerged as a powerful alternative, yet many approaches require large training datasets. We develop a data-efficient surrogate for spectral functions using the $t$-$t'$-$t''$-$J$ model, which describes the motion of a hole in a quantum antiferromagnet. Using $\sim$ 10$^5$ self-consistent Born approximation-based spectra from Lee, Carbone and Yin (Phys. Rev. B 107, 205132 (2023)), we train a deep-kernel Gaussian process surrogate model with sparse variational inference (DKL-SVGP) using only 10% of the available training spectra. We benchmark against feed-forward neural networks (FFNN) trained on the same reduced subset and on the full dataset. The proposed DKL-SVGP model consistently outperforms the reduced-data FFNN and, despite using only 10% of the training spectra, achieves spectrum-wise errors within the same order-of-magnitude as the full-data FFNN baseline. Worst-tail diagnostics show improved fidelity on difficult spectra, while peak-level analysis indicates that DKL-SVGP recovers dominant peak heights with comparable accuracy and improves peak-location agreement under a matched-peak evaluation that mitigates rare peak-swapping cases. Overall, these results highlight GP-based surrogates as a competitive and data-efficient approach for spectral-function prediction in scarce-data regimes.

연구 동기 및 목표

• 희소한 학습 데이터에서도 잘 작동하는 스펙트럼 함수 대체를 동기부여한다.
• 해밀토니언 매개변수 x=(t', t'', J)와 에너지 ω에 대한 밀도 상태 A(ω)을 연결하는 데이터 효율적 순방향 모델을 개발한다.
• 깊은 커널 SVGP 대체모델이 축소 데이터 신경망 기준선을 능가함을 입증한다.
• 스펙트럼 수준 및 피크 수준의 충실도, 최악 꼬리(worst-tail) 진단 및 매칭 피크 평가를 포함하여 평가한다.
• 활성 학습 및 역 모델링에 대한 시사점을 스펙트럼 문제에서 강조한다.

제안 방법

• A(ω)를 해밀토니언 매개변수 x=(t', t'', J)와 에너지 ω의 함수로 취급하고 고정 ω-그리드에서 스펙트럼에 대해 학습한다.
• M=1536의 유도점(inducing points)을 갖는 희소 변분 가우시안 프로세스(SVGP) 대체를 사용하는 심층 커널 학습(DKL)을 이용한다.
• 가볍게 구성된 특징 네트워크 φθ를 사용하여 매개변수 네트워크 hx와 푸리에 ω-트렁크를 결합하고, 이를 유연한 커널을 갖는 GP로 전달한다.
• 학습된 특징과 ω를 결합하여 zjoint=[φθ(s), ω̃] 형태의 결합 입력을 모델링하고, 학습 공간에서 Matérn-3/2 커널로 학습된 특징과 ω를 연결하는 혼합 커널 k(s,z')과 ω에 대해 Spectral Mixture 커널을 사용한다.
• 전처리: x를 표준화하고 ω를 재스케일링하며 A(ω)를 로그 표준화하고 LCY 데이터셋의 10%로 학습; 예측 평균을 대체 출력으로 평가한다.
• 동일한 10% 부분집합과 전체 데이터로 학습된 FFNN 기준선과 비교한다; 보충 자료에서 KRR 및 kNN 기준선을 포함한다.

Figure 1: Illustration of our deep kernel Gaussian process surrogate model trained with stochastic variational inference and applied to the forward problem of predicting a DOS given Hamiltonian parameters $x=(t^{\prime},t^{\prime\prime},J)$ and energy-grid points $\omega$ . We first standardize $x\t

실험 결과

연구 질문

• RQ1 GP 기반 대체모델이 심층 커널 학습으로 10%의 학습 데이터만 사용해도 A(ω)에 대해 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ2 DKL-SVGP가 축소 데이터 FFNN 및 전체 데이터 FFNN과 비교했을 때 스펙트럼 영역 및 피크 영역의 충실도에서 어떤 차이가 있는가?
• RQ3 최악 꼬리 spectra에서 충실도를 유지하고 매칭 피크 평가에서 피크 높이와 위치를 더 잘 회복하는가?

주요 결과

• 데이터의 10%로 학습된 DKL-SVGP가 동일 하위 집합에서 학습된 FFNN에 비해 테스트의 평균 열 RMSE를 약 42% 감소시킨다.
• FFNN(전체) 대비 DKL-SVGP의 평균 테스트 열 RMSE는 1.93e-3 대 4.54e-3로, DKL-SVGP가 전체 데이터 FFNN의 약 2.4× 수준이다.
• 테스트의 정규화 RMSE(NRMSE): FFNN(전체) 1.365e-2; DKL-SVGP 3.369e-2(부분집합)로, 상당한 데이터 효율 증가를 시사한다.
• 최악 꼬리 진단에서 DKL-SVGP가 어렵고 지배적인 스펙트럼 구조를 축소 데이터 FFNN보다 더 잘 보존하는 것으로 나타난다.
• 매칭 피크 평가에서 피크 높이는 비슷하고 피크 위치는 DKL-SVGP가 FFNN 부분집합에 비해 약간 더 정확하다(RMSE 0.021 대 0.028).
• 전반적으로 GP 기반 대체는 희소 데이터 환경에서 스펙트럼 모델링에 대해 데이터 예산과 함께 높은 정확성을 제공한다.

Figure 2: Worst-tail diagnostic on the held-out test dataset. Test spectra are ranked from worst to best by a reference error score (here, the FFNN row-RMSE over test dataset), and representative spectra at percentiles $\{0,2,4,6,8,10\}\%$ within this worst tail are shown. Each panel overlays the gr