[논문 리뷰] Neural Network Machine Regression (NNMR): A Deep Learning Framework for Uncovering High-order Synergistic Effects

Jiuchen Zhang, Ling Zhou외 1명|arXiv (Cornell University)|2026. 02. 02.

Nutritional Studies and Diet인용 수 0

한 줄 요약

NNMR은 학습 가능한 입력 게이팅과 적응형 깊이 규화를 결합하여 특징 선택과 비선형 함수 추정을 공동으로 수행하고, 고차원 설정에서의 I형 오류를 제어하기 위한 선택 후 순열 기반 추론 절차를 제공합니다.

ABSTRACT

We propose a new neural network framework, termed Neural Network Machine Regression (NNMR), which integrates trainable input gating and adaptive depth regularization to jointly perform feature selection and function estimation in an end-to-end manner. By penalizing both gating parameters and redundant layers, NNMR yields sparse and interpretable architectures while capturing complex nonlinear relationships driven by high-order synergistic effects. We further develop a post-selection inference procedure based on split-sample, permutation-based hypothesis testing, enabling valid inference without restrictive parametric assumptions. Compared with existing methods, including Bayesian kernel machine regression and widely used post hoc attribution techniques, NNMR scales efficiently to high-dimensional feature spaces while rigorously controlling type I error. Simulation studies demonstrate its superior selection accuracy and inference reliability. Finally, an empirical application reveals sparse, biologically meaningful food group predictors associated with somatic growth among adolescents living in Mexico City.

연구 동기 및 목표

• 고차원 비선형 설정에서 해석 가능하고 확장 가능한 특징 선택의 필요성을 동기화하고 고차 시너지 효과를 식별한다.
• 입력 게이팅과 깊이 규화를 통해 특징을 공동으로 선택하고 비선형 함수를 추정하는 신경망 프레임워크를 제안한다.
• 선택 후 유효한 p-값을 보장하기 위해 데이터 분할과 순열 검정을 결합한 선택 후 추론 절차를 개발한다.

제안 방법

• 입력층에 학습 가능한 게이팅 벡터를 부착하여 게이트(alpha)에 대한 L1 정규화를 통해 희소성을 유도한다.
• 중복된 층을 항등 매핑으로 축소하는 깊이 규제 페널티를 도입하여 희소하고 해석 가능한 아키텍처를 얻는다.
• G(alpha, theta) 신경망을 엔드투엔드 목적함수로 학습하는데, 제곱오차에 알파의 L1 페널티와 (W_l - I) 및 |c_l|의 L1 페널티(깊이 페널티)를 더해 구성한다.
• 선택/추정용 D1과 추론용 D2로 데이터 분할을 이용하고, 조건부 독립성을 평가하기 위한 순열 기반 이표본 잔차 검정을 사용한 선택 후 추론을 수행한다.
• alpha의 정확한 영값을 강제하기 위한 자르기 단계(하드-thresholding)를 제공하고, 작을 때 W_l을 I로 설정하여 층을 제거한다.

실험 결과

연구 질문

• RQ1 NNMR이 고차원 비선형 설정에서 예측 특성의 희소한 부분집합을 정확하게 식별할 수 있는가?
• RQ2 기존 방법과 비교하여 신경망 내에서 특징 선택과 깊이 규화를 통합하는 것이 선택 정확도와 예측 성능을 향상시키는가?
• RQ3 데이터 기반 특징 선택 후 순열 기반 이표본 잔차 검정을 사용하여 유효한 추론을 수행할 수 있는가?
• RQ4 BKMR 및 사후 귀속 방법과 비교하여 NNMR이 고차원 데이터에 얼마나 확장 가능한가?
• RQ5 실제 데이터 적용에서 해석 가능하고 생물학적으로 의미 있는 예측변수를 도출하는가?

주요 결과

Method	정밀도	재현율	F1 점수
Proposed	0.927 (0.150)	0.880 (0.183)	0.879 (0.135)
BKMR	0.025 (0.000)	1.000 (0.000)	0.049 (0.000)
SHAP	0.780 (0.060)	0.780 (0.060)	0.780 (0.060)
DeepLIFT	0.720 (0.133)	0.720 (0.133)	0.720 (0.133)
GLNN	0.460 (0.100)	0.460 (0.100)	0.460 (0.100)
DPS	0.244 (0.083)	0.244 (0.083)	0.244 (0.083)

• 시뮬레이션에서 NNMR은 BKMR, SHAP, DeepLIFT, GLNN, DPS에 비해 뛰어난 변수 선택 지표(정밀도, 재현율, F1)를 달성한다.
• 제안된 순열 검정을 사용한 선택 후 추론은 특징 선택 이후 명목상 I형 오류를 유지한다(선택 없이 1% 대 13%).
• 시뮬레이션에서 NNMR의 F1 점수는 약 0.88이며, 상위 특징의 정밀도는 0.927, 재현율은 0.880이다.
• BKMR, SHAP 등 기준 방법과 비교할 때, NNMR은 학습 중 희소성과 깊이 제어의 통합이 더 강해 해석 가능성과 확장성 향상으로 이어진다.
• 실제 데이터 분석(ELEMENT 프로젝트)은 NNMR이 영아 성장에 영향을 주는 희소하고 의미 있는 식이 예측변수를 식별할 수 있음을 보여주며, 여섯 가지 방법에 대해 AIC/시간 지표가 보고되었다(표 3).