[논문 리뷰] A general framework for formulating structured variable selection

Guanbo Wang, Mireille E. Schnitzer외 3명|arXiv (Cornell University)|2021. 10. 03.

Computational Drug Discovery Methods인용 수 4

한 줄 요약

이 논문은 선택 사전(선택 가능한 공변량 부분집합의 완전한 목록)을 정의하기 위해 형식적 언어를 사용하여 임의의 구조적 변수 선택 규칙을 일반적인 수학적 프레임워크로 제안한다. 구성 요소에 대한 연산을 통해 어떤 선택 규칙이라도 표현할 수 있기 때문에, 이 프레임워크는 체계적인 모델 선택을 가능하게 하고, 페널라이제이션 회귀를 위한 변수 그룹화를 안내하며, 복잡한 사용자 정의 제약 조건을 준수하는 새로운 ℓ₀ 기반 방법의 개발을 가능하게 하여 고차원 데이터 분석에서 모델의 해석 가능성과 유연성을 크게 향상시킨다.

ABSTRACT

In variable selection, a selection rule that prescribes the permissible sets of selected variables (called a "selection dictionary") is desirable due to the inherent structural constraints among the candidate variables. Such selection rules can be complex in real-world data analyses, and failing to incorporate such restrictions could not only compromise the interpretability of the model but also lead to decreased prediction accuracy. However, no general framework has been proposed to formalize selection rules and their applications, which poses a significant challenge for practitioners seeking to integrate these rules into their analyses. In this work, we establish a framework for structured variable selection that can incorporate universal structural constraints. We develop a mathematical language for constructing arbitrary selection rules, where the selection dictionary is formally defined. We demonstrate that all selection rules can be expressed as combinations of operations on constructs, facilitating the identification of the corresponding selection dictionary. Once this selection dictionary is derived, practitioners can apply their own user-defined criteria to select the optimal model. Additionally, our framework enhances existing penalized regression methods for variable selection by providing guidance on how to appropriately group variables to achieve the desired selection rule. Furthermore, our innovative framework opens the door to establishing new l0 norm-based penalized regression techniques that can be tailored to respect arbitrary selection rules, thereby expanding the possibilities for more robust and tailored model development.

연구 동기 및 목표

• 변수 선택에서 복잡한 구조적 제약 조건을 표현하고 적용할 수 있는 일반적 프레임워크의 부재를 해결하기 위해.
• 그룹 포함, 계층 구조, 카디널리티 제약 조건 등의 선택 규칙을 보편적인 수학적 언어로 형식화하기 위해.
• 주어진 규칙에 해당하는 선택 사전(모든 허용 가능한 공변량 부분집합의 집합)을 유도하여 체계적인 모델 평가를 가능하게 하기 위해.
• 기존의 페널라이제이션 회귀 방법(예: 겹치는 그룹 Lasso)의 그룹화 구조를 복잡한 규칙을 준수하도록 안내하기 위해.
• 형식적 제약 조건 유도를 통해 임의의 선택 규칙을 준수할 수 있는 새로운 ℓ₀ 기반 페널라이제이션 회귀 기법의 개발을 가능하게 하기 위해.

제안 방법

• 변수 구성 요소(예: 합집합, 교집합, 여집합 등)에 대한 연산을 사용하여 선택 규칙을 구성하기 위한 형식적 수학적 언어를 정의하기 위해.
• 주어진 선택 규칙를 만족하는 모든 허용 가능한 공변량 부분집합의 집합으로서 '선택 사전'을 공식적으로 정의하기 위해.
• 임의의 선택 규칙이 구성 요소에 대한 연산의 조합으로 표현될 수 있음을 증명하여 프레임워크의 완전성을 확보하기 위해.
• 유도된 선택 사전을 활용하여 기존의 페널라이제이션 회귀 방법(예: 겹치는 그룹 Lasso)에서 규칙 준수 모델 피팅을 위한 변수 그룹화를 안내하기 위해.
• ℓ₀ 노름과 선택 규칙 간의 관계를 활용하여 새로운 ℓ₀ 기반 페널라이제이션 회귀 기법에 통합할 수 있는 제약 조건(예: ‖β‖₀ ≤ k)을 도출하기 위해.
• 복잡한 실세계 예제에 프레임워크를 적용하여 체계적으로 복잡한 선택 규칙을 인코딩하고 준수할 수 있음을 입증하기 위해.

실험 결과

연구 질문

• RQ1 간단한 그룹 또는 계층 제약 조건을 초월한 임의의 구조적 변수 선택 규칙—다른 제약 조건을 포함한—은 어떻게 통합된 수학적 프레임워크로 공식화할 수 있는가?
• RQ2 선택 규칙과 그에 해당하는 선택 사전(즉, 모든 허용 가능한 공변량 부분집합의 집합) 사이의 공식적 관계는 무엇인가?
• RQ3 이 프레임워크는 기존의 페널라이제이션 회귀 방법에서 복잡한 비표준 선택 규칙을 준수하도록 그룹화 구조를 안내할 수 있는가?
• RQ4 이 프레임워크 내에서 ℓ₀ 노름은 어떻게 활용되어 임의의 선택 규칙을 준수하는 새로운 페널라이제이션 회귀 기법을 개발하는 데 기여할 수 있는가?
• RQ5 도메인 특화의 구조적 제약 조건을 통합함으로써 이 프레임워크는 모델의 해석 가능성과 예측 정확도를 어느 정도 향상시킬 수 있는가?

주요 결과

• 이 프레임워크는 변수 구성 요소에 대한 연산을 통해 어떤 구조적 변수 선택 규칙이라도 표현할 수 있는 보편적인 수학적 언어를 제공하여 완전성과 공식적 엄밀성을 확보한다.
• 선택 사전—규칙를 만족하는 모든 허용 가능한 공변량 부분집합의 집합—은 체계적으로 유도될 수 있으며, 이는 사용자 정의 기준(예: AIC, BIC, 교차검증 오차)을 직접 사용한 모델 평가를 가능하게 한다.
• 이 프레임워크는 기존의 페널라이제이션 회귀 방법(예: 겹치는 그룹 Lasso)의 핵심 한계를 해결하여, 예를 들어 집합에서 최대 두 개의 변수만 선택하는 것과 같은 카디널리티 제약 조건을 표현할 수 있게 하였다. 이는 이전에는 표현이 불가능했던 제약 조건이다.
• ℓ₀ 노름과 선택 규칙 간의 관계가 공식화되어, ‖β‖₀ ≤ k와 같은 제약 조건을 도출할 수 있으며, 이를 새로운 ℓ₀ 기반 페널라이제이션 회귀 기법에 통합할 수 있다.
• 이 프레임워크는 기존 방법에 대한 변수 그룹화를 체계적으로 안내하여 복잡한 규칙을 준수할 수 있도록 하여, 실제 적용에서 구조적 선택의 실현 가능성을 크게 향상시켰다.
• 이 접근은 단일 개념으로 모든 구조적 변수 선택을 통합하여 연구자들이 특정 규칙 유형에 따라가지 않고도 문제를 일반적으로 다룰 수 있도록 하여, 향후 나타날 수 있는 복잡한 선택 규칙에 대한 적응력을 높였다.