[논문 리뷰] Learning interactions through hierarchical group-lasso regularization

Michael Lim, Trevor Hastie|arXiv (Cornell University)|2013. 08. 12.

Statistical Methods and Inference참고 문헌 13인용 수 20

한 줄 요약

이 논문은 주어진 상호작용이 선택될 경우 주효과가 포함되도록 강력한 계층 구조를 보장하면서도 쌍별 상호작용을 학습하는 계층적 그룹-라소 정규화 방법인 glinternet를 소개한다. 이 방법은 걸러낸 상호작용 후보자들에 대해 그룹-라소를 적용하고, 적응형 재시작을 활용한 FISTA를 통해 효율적인 최적화를 실현하여 고차원 설정, 특히 GWAS 및 혼합된 범주형-연속형 데이터에서 확장 가능하고 해석 가능한 상호작용 모델링을 가능하게 한다.

ABSTRACT

We introduce a method for learning pairwise interactions in a manner that satisfies strong hierarchy: whenever an interaction is estimated to be nonzero, both its associated main effects are also included in the model. We motivate our approach by modeling pairwise interactions for categorical variables with arbitrary numbers of levels, and then show how we can accommodate continuous variables and mixtures thereof. Our approach allows us to dispense with explicitly applying constraints on the main effects and interactions for identifiability, which results in interpretable interaction models. We compare our method with existing approaches on both simulated and real data, including a genome wide association study, all using our R package glinternet.

연구 동기 및 목표

• 주어진 상호작용이 선택될 경우 주효과가 포함되도록 강력한 계층 구조를 보장하면서 쌍별 상호작용을 학습하는 방법을 개발하는 것.
• 특히 유전체 연관 연구 및 고차원 데이터에서 p >> n 조건에서 상호작용 모델링의 확장성과 해석 가능성 문제를 해결하는 것.
• 범주형 변수(임의의 수의 수준 포함)와 연속형 변수를 포함한 혼합된 변수 유형 간 효과적인 상호작용 학습을 가능하게 하는 것.
• 스クリ닝 후 그룹-라소 정규화를 통해 두 단계 접근 방식을 통해 상호작용 선택 시 거짓 발견률을 낮추는 것.
• 실제 응용(예: 유전체 연관 연구)에 적합한 계산적으로 효율적이고 해석 가능하며 확장 가능한 솔루션을 R 패키지(glinternet)를 통해 제공하는 것.

제안 방법

• 이 방법은 두 단계 접근 방식을 사용한다: 먼저 후보 상호작용과 주효과를 걸러내고, 그 후 계층적 상호작용 모델을 선택하기 위해 그룹-라소 정규화를 적용한다.
• 주효과와 그에 관련된 상호작용을 그룹화된 변수로 설정하고, 그룹-라소 펜alties를 통해 전체 그룹을 선택하거나 전혀 선택하지 않도록 하여 강력한 계층 구조를 보장한다.
• 그룹-라소 펜alty는 $ \lambda \sum_{i=1}^{p} \| \beta_i \|_2 $ 로 정의되며, 여기서 $ \beta_i $ 는 그룹의 계수(예: 주효과와 그 상호작용)를 나타내고, 이 펜alty는 그룹 수준에서 흐트러짐을 유도한다.
• 이 방법은 고차원 설정에서도 효율적인 계산을 가능하게 하기 위해 FISTA를 적응형 재시작과 함께 적용하여 빠르고 확장 가능한 최적화를 실현한다.
• 스크리닝은 두 가지 방법으로 수행된다: (1) 깊이 2인 트리로 구성된 부스팅으로 자연스럽게 계층 구조를 강제하고, (2) 라소의 강력한 규칙을 모방한 적응형 규칙을 통해 관련성이 없는 예측변수를 조기에 제거한다.
• 각 그룹이 유니터리 프로베니우스 노름을 가지도록 정규화하여 정규화 파rameter 조정을 단순화하고 일관된 그룹 페널티를 보장한다.

실험 결과

연구 질문

• RQ1 그룹-라소 기반 방법이 주어진 상호작용이 선택될 경우 주효과가 포함되도록 강력한 계층 구조를 보장하면서도 쌍별 상호작용을 효과적으로 학습할 수 있는가?
• RQ2 혼합된 범주형 및 연속형 변수를 포함한 고차원 설정에서 제안된 방법의 거짓 발견률과 검정력은 어떻게 되는가?
• RQ3 p > 10^5개의 변수와 n ~ 수천 건의 관측치를 포함한 대규모 데이터셋(예: 유전체 연관 연구)에서도 이 방법이 확장 가능한가?
• RQ4 부스팅 기반 스크리닝과 적응형 강력 규칙을 활용한 두 가지 스크리닝 절차는 계산 효율성과 선택 정확도 측면에서 어떻게 비교되는가?
• RQ5 적응형 재시작을 적용한 FISTA 사용이 그룹-라소 최적화에서 수렴 속도와 안정성 향상에 뚜렷한 영향을 미치는가?

주요 결과

• 500개의 3단계 범주형 변수와 800건의 관측치를 포함한 시뮬레이션 연구에서, glinternet는 10개의 상호작용을 발견한 후 평균 거짓 발견률이 약 0.15로 나타났으며, 표준 오차는 매우 낮았다.
• 모델은 시뮬레이션에서 진짜 상호작용 구조를 성공적으로 복원했으며, 관련 상호작용을 탐지하는 데 높은 검정력과 낮은 거짓 발견률을 보였다.
• glinternet는 실제 유전체 연관 연구에 성공적으로 적용되어 고차원 생물학적 데이터(p가 크고 n이 작음)에서의 적용 가능성을 입증했다.
• 적응형 재시작을 적용한 FISTA 알고리즘은 표준 FISTA 대비 수렴 속도를 크게 향상시키고 진동 행동을 감소시켜 고차원 설정에서 더 빠른 최적화를 가능하게 했다.
• 그룹-라소 공식화는 추가 제약 조건 없이도 자연스럽게 강력한 계층 구조를 보장하여 더 해석 가능하고 통계적으로 타당한 상호작용 모델을 생성한다.
• 스크리닝 절차는 후보 상호작용 수를 $ O(p^2) $ 에서 다룰 수 있는 하위 집합으로 줄여 계산 가능성을 향상시키면서도 선택 정확도를 손상시키지 않았다.