[論文レビュー] Neural Network Machine Regression (NNMR): A Deep Learning Framework for Uncovering High-order Synergistic Effects

Jiuchen Zhang, Ling Zhou+1 more|arXiv (Cornell University)|Feb 2, 2026

Nutritional Studies and Diet被引用数 0

ひとこと要約

NNMRは入力ゲーティングと適応深度正則化を学習可能に統合し、特徴選択と非線形関数推定を同時に実行するとともに、選択後の置換ベース推論手法を用いて高次元設定での第一種型エラーを制御する。

ABSTRACT

We propose a new neural network framework, termed Neural Network Machine Regression (NNMR), which integrates trainable input gating and adaptive depth regularization to jointly perform feature selection and function estimation in an end-to-end manner. By penalizing both gating parameters and redundant layers, NNMR yields sparse and interpretable architectures while capturing complex nonlinear relationships driven by high-order synergistic effects. We further develop a post-selection inference procedure based on split-sample, permutation-based hypothesis testing, enabling valid inference without restrictive parametric assumptions. Compared with existing methods, including Bayesian kernel machine regression and widely used post hoc attribution techniques, NNMR scales efficiently to high-dimensional feature spaces while rigorously controlling type I error. Simulation studies demonstrate its superior selection accuracy and inference reliability. Finally, an empirical application reveals sparse, biologically meaningful food group predictors associated with somatic growth among adolescents living in Mexico City.

研究の動機と目的

• 高次元の非線形設定における解釈可能でスケーラブルな特徴選択の必要性を動機づけ、高次の協同効果を特定する。
• 特徴選択と非線形関数推定を入力ゲーティングと深度正則化を通じて共同で実現するニューラルネットワークフレームワークを提案する。
• データ分割と置換検定を組み合わせた選択後推論手順を開発し、選択後の有効なp値を保証する。

提案手法

• 入力層に学習可能なゲーティングベクトルを付加し、ゲート(alpha)に対するL1正則化でスパース性を誘導する。
• 冗長な層を恒等写像に崩壊させる深度正則化ペナルティを導入し、スパースで解釈可能なアーキテクチャを得る。
• 平方誤差とalphaおよび(W_l - I)へのL1ペナルティ＋|c_l|を組み合わせたエンドツーエンド目的でニューラルネットワークG(alpha, theta)を訓練する（深さペナルティ）。
• データ分割(D1: 選択/推定、D2: 推論)と置換ベースの二標本残差検定を用いた選択後推論を実施し、条件付き独立性を評価する。
• alphaの厳密なゼロを保証するためのハードスレッショルド処理と、W_lを小さい場合にはIに設定して層を剪定する切り詰め手順を提供する。

実験結果

リサーチクエスチョン

• RQ1 NNMRは高次元非線形設定で予測特徴の疎なサブセットを正確に識別できるか。
• RQ2 ニューラルネットワーク内で特徴選択と深さ正則化を統合することは、既存手法と比べて選択精度と予測性能を改善するか。
• RQ3 データ駆動の特徴選択後に有効な推論を、置換ベースの二標本残差検定を用いて実行できるか。
• RQ4 BKMRおよびポストホックアトリビューション法と比較して、NNMRは高次元データへどの程度スケールするか。
• RQ5 実データ応用で直感的かつ生物学的に意味のある予測子を得られるか。

主な発見

Method	Precision	Recall	F1 Score
Proposed	0.927 (0.150)	0.880 (0.183)	0.879 (0.135)
BKMR	0.025 (0.000)	1.000 (0.000)	0.049 (0.000)
SHAP	0.780 (0.060)	0.780 (0.060)	0.780 (0.060)
DeepLIFT	0.720 (0.133)	0.720 (0.133)	0.720 (0.133)
GLNN	0.460 (0.100)	0.460 (0.100)	0.460 (0.100)
DPS	0.244 (0.083)	0.244 (0.083)	0.244 (0.083)

• NNMRはシミュレーションにおいてBKMR、SHAP、DeepLIFT、GLNN、DPSと比較して変数選択の指標（Precision、Recall、F1）で優位を示す。
• 提案された置換検定を用いた選択後推論は、特徴選択後の名目上の第一種エラーを維持する（選択なしの1%対して選択後13%）。
• シミュレーションでは、NNMRのF1スコアは約0.88、トップ特徴のPrecisionは0.927、Recallは0.880であった。
• BKMR、SHAP、および他のベースラインと比較して、NNMRは訓練時のスパース性と深さ制御の統合が強く、解釈性とスケーラビリティが向上する。
• 実データ解析（ELEMENTプロジェクト）は、NNMRが希少で意味のある食事予測因子を識別できることを示し、介在成長に影響を与える要因を特定し、6つの手法のAIC/時間指標をTable 3に報告した。