[논문 리뷰] Data-Driven Integration Kernels for Interpretable Nonlocal Operator Learning

Savannah L. Ferretti, Jerry Lin외 4명|arXiv (Cornell University)|2026. 03. 11.

Climate variability and models인용 수 0

한 줄 요약

이 논문은 데이터 기반 통합 커널을 도입하여 비지역적 정보 집계를 지역 예측과 분리하고 해석 가능한 커널을 제시하며 남아시아 몬순 강수에 대해 매개변수가 적은 상태에서 거의 기준선 수준의 예측 성능을 보여준다.

ABSTRACT

Machine learning models can represent climate processes that are nonlocal in horizontal space, height, and time, often by combining information across these dimensions in highly nonlinear ways. While this can improve predictive skill, it makes learned relationships difficult to interpret and prone to overfitting as the extent of nonlocal information grows. We address this challenge by introducing data-driven integration kernels, a framework that adds structure to nonlocal operator learning by explicitly separating nonlocal information aggregation from local nonlinear prediction. Each spatiotemporal predictor field is first integrated using learnable kernels (defined as continuous weighting functions over horizontal space, height, and/or time), after which a local nonlinear mapping is applied only to the resulting kernel-integrated features and any optional local inputs. This design confines nonlinear interactions to a small set of integrated features and makes each kernel directly interpretable as a weighting pattern that reveals which horizontal locations, vertical levels, and past timesteps contribute most to the prediction. We demonstrate the framework for South Asian monsoon precipitation using a hierarchy of neural network models with increasing structure, including baseline, nonparametric kernel, and parametric kernel models. Across this hierarchy, kernel-based models achieve near-baseline performance with far fewer trainable parameters, showing that much of the relevant nonlocal information can be captured through a small set of interpretable integrations when appropriate structural constraints are imposed.

연구 동기 및 목표

• 지구물리적 과정에서 해석 가능한 비지역 연산자 학습의 필요성에 대한 동기 제시.
• 비지역 집계를 지역 예측과 구분하는 두 단계 프레임워크로서의 통합 커널 학습 도입.
• 기술 및 해석 가능성 간의 균형을 연구하기 위한 비매개변수 및 매개변수 커널의 계층적 모델 개발.
• ERA5/IMERG 데이터를 사용한 남아시아 몬순 강수에 프레임워크를 적용하여 해석 가능성과 성능 시연.
• 비지역 영향에 대한 커널 기반 요약을 제공하여 물리적으로 제약된 매개변수화에 도움을 주는 지침 제시

제안 방법

• 학습 가능한 커널을 수평 공간, 높이 및/또는 시간에 적용하여 얻은 커널 적분 특징으로 비지역 의존성 표현
• 비지역 연산자를 F ∘ 𝒦의 구성으로 근사하되 𝒦는 커널 적분 단계이고 F는 지역 비선형 매핑
• 정규화와 유효성 마스킹을 통해 격자화된 예측장에 커널 가중치 k_i,n,m,r^(ℓ)를 산출
• 비지역 인코딩에서 차이가 나도록 공유된 다운스트림 신경망으로 모델 학습
• 기저가 되는 완전한 유연 모델, 비매개변수 커널, 매개변수 커널(가우시안, 가우시안 혼합, 탑-햇, 지수) 계층 탐색
• ERA5 예측자(RH, θ_e, θ_e*) 및 지역 입력(감각/잠열 플럭스, 육지 분율)을 사용하여 남아시아 몽순 강수에 대해 평가

Figure 1: Schematic of integration kernel learning. Learned kernels summarize predictor fields across horizontal space, height, and/or time into features, which are combined with local inputs and passed to a downstream nonlinear model to predict the local output

실험 결과

연구 질문

• RQ1 비지역 정보를 아키텍처적으로 인코딩하는 방식(기본 vs 커널 기반)이 몬순 강수 예측 능력에 어떤 영향을 미치는가?
• RQ2 이 체계에서 수평, 수직 및 시간적 비지역성의 상대적 중요성은 무엇인가?
• RQ3 커널 통합 특징이 비지역 영향에 대해 해석 가능하고 물리적으로 의미 있는 패턴을 제공하는가?
• RQ4 비매개변수와 매개변수 커널 모델은 정확도와 해석 가능성 면에서 어떻게 비교되는가?
• RQ5 커널 통합 특징은 후속 물리적 매개변화에 유용한 간결한 요약을 제공하는가?

주요 결과

모델	R^2	MSE
(x0,p0,t0)	0.411	0.680
(x0,p0,t)	0.432	0.656
(x,p0,t0)	0.440	0.647
(x0,p^TH,t0)	0.481	0.599
(x0,p^EXP,t0)	0.482	0.598
(x0,p^G,t0)	0.484	0.596
(x0,p^MG,t0)	0.487	0.592
(x0,p^MIX,t0)	0.488	0.592
(x0,p^k,t0)	0.496	0.582
(x,p,t0)	0.528	0.546
(x,p,t)	0.582	0.482

• 커널 모델은 완전한 유연한 기준선에 비해 훨씬 적은 학습 매개변수로도 거의 기준선 수준의 예측 성능을 달성한다.
• 수직 비지역성이 연구된 규모 내에서 남아시아 몬순의 예측 능력에 가장 큰 기여를 하며, 수평 및 시간 맥락은 보조적이다.
• 비매개변수 커널 모델이 입력 차원을 줄여도 전체 기준선에 근접한 성능을 달성한다(예: R^2 0.496 vs 0.528; MSE 0.582 vs 0.546).
• 매개변수 커널(가우시안, 가우시안 혼합, 지수, 탑-햇)은 추가 규제화를 제공하나 성능 저하는 소폭에 머무름(R^2 ≈ 0.481–0.488; MSE ≈ 0.592–0.599).
• 학습된 수직 커널은 대류의 물리적 제어와 일치하는 저층 대류권에서 예측기 특이적 구조를 드러냄(RH 가중치가 900–1000 hPa 및 650–500 hPa 근처; θ_e 및 θ_e* 패턴).
• 커널은 해석 가능한 가중 패턴을 제공하며 물리적으로 해석 가능한 매개변수화 제약 및 비지역 메커니즘의 심볼릭 회귀를 지원하는 데 사용할 수 있다.

Figure 2: Test set R 2 (top) and MSE (bottom) for baseline (blue), nonparametric kernel (yellow), and parametric kernel (red) models, computed in standardized log1p-transformed precipitation space. Model labels indicate nonlocal dimensions, with subscript 0 denoting locality. Superscript $k$ denotes