[论文解读] A general framework for formulating structured variable selection

Guanbo Wang, Mireille E. Schnitzer+3 more|arXiv (Cornell University)|Oct 3, 2021

Computational Drug Discovery Methods被引用 4

一句话总结

本文提出了一种通用的数学框架，通过形式化语言定义选择词典——即允许的协变量子集的完整列表——来表述任意结构化的变量选择规则。通过在构造体上操作来表达任何选择规则，该框架实现了系统化的模型选择，指导惩罚回归中的变量分组，并为尊重复杂、用户自定义约束的新ℓ₀方法铺平了道路，显著提升了高维数据分析中模型的可解释性与灵活性。

ABSTRACT

In variable selection, a selection rule that prescribes the permissible sets of selected variables (called a "selection dictionary") is desirable due to the inherent structural constraints among the candidate variables. Such selection rules can be complex in real-world data analyses, and failing to incorporate such restrictions could not only compromise the interpretability of the model but also lead to decreased prediction accuracy. However, no general framework has been proposed to formalize selection rules and their applications, which poses a significant challenge for practitioners seeking to integrate these rules into their analyses. In this work, we establish a framework for structured variable selection that can incorporate universal structural constraints. We develop a mathematical language for constructing arbitrary selection rules, where the selection dictionary is formally defined. We demonstrate that all selection rules can be expressed as combinations of operations on constructs, facilitating the identification of the corresponding selection dictionary. Once this selection dictionary is derived, practitioners can apply their own user-defined criteria to select the optimal model. Additionally, our framework enhances existing penalized regression methods for variable selection by providing guidance on how to appropriately group variables to achieve the desired selection rule. Furthermore, our innovative framework opens the door to establishing new l0 norm-based penalized regression techniques that can be tailored to respect arbitrary selection rules, thereby expanding the possibilities for more robust and tailored model development.

研究动机与目标

• 解决在变量选择中表达和应用复杂结构约束时缺乏通用框架的问题。
• 将选择规则（如分组包含、层次结构和基数约束）形式化为一种通用的数学语言。
• 推导出与任一给定规则对应的“选择词典”（即所有允许的协变量子集的集合），以实现系统的模型评估。
• 指导现有惩罚回归方法（如重叠组Lasso）的分组结构构建，以遵守复杂规则。
• 支持开发新型ℓ₀基础的惩罚回归技术，通过形式化约束推导实现对任意选择规则的强制执行。

提出的方法

• 定义一种形式化数学语言，通过在变量构造体（如并集、交集、补集）上操作来构建选择规则。
• 将“选择词典”正式定义为满足给定选择规则的所有允许协变量子集的集合。
• 证明任意选择规则均可通过构造体上的操作组合表达，确保框架的完备性。
• 利用推导出的选择词典，指导现有惩罚回归方法（如重叠组Lasso）中的变量分组，以实现规则合规的模型拟合。
• 利用ℓ₀范数与选择规则之间的联系，推导出约束（如‖β‖₀ ≤ k），用于新型ℓ₀基础的惩罚回归方法。
• 将该框架应用于一个复杂的现实世界示例，以展示其系统性地编码和强制执行复杂选择规则的能力。

实验结果

研究问题

• RQ1 如何在统一的数学框架中形式化表达任意结构化的变量选择规则（超越简单的分组或层次约束）？
• RQ2 选择规则与其对应的“选择词典”（即所有允许协变量子集的集合）之间存在何种正式关系？
• RQ3 该框架能否指导现有惩罚回归方法中的分组结构构建，以遵守复杂且非标准的选择规则？
• RQ4 如何在此框架中利用ℓ₀范数，以开发能够强制执行任意选择规则的新惩罚回归技术？
• RQ5 通过整合特定领域的结构约束，该框架在多大程度上能提升模型的可解释性和预测准确性？

主要发现

• 该框架提供了一种通用的数学语言，通过在变量构造体上操作来表达任何结构化的变量选择规则，确保了完备性与形式化严谨性。
• 选择词典——即满足某一规则的所有允许协变量子集的集合——可系统性地推导得出，从而可直接使用用户定义的标准（如AIC、BIC或交叉验证误差）进行模型评估。
• 该框架解决了现有惩罚回归方法（如重叠组Lasso）的关键局限，能够指定基数约束（如从一组中至多选择两个变量），而这些约束此前无法表达。
• ℓ₀范数与选择规则之间的关系已正式建立，使得可推导出如‖β‖₀ ≤ k等约束，这些约束可整合进新型ℓ₀基础的惩罚回归方法中。
• 该框架可系统性地指导现有方法中的变量分组，以遵守复杂规则，显著提升了在实践中应用结构化选择的可行性。
• 该方法统一了结构化变量选择的范式，使研究人员能够以通用方式处理该问题，而非针对每类特定规则类型分别处理，从而增强了对新兴复杂选择规则的适应能力。