[논문 리뷰] Group Variable Selection via a Hierarchical Lasso and Its Oracle Property

Nengfeng Zhou, Ji Zhu|arXiv (Cornell University)|2010. 06. 15.

Gene expression and cancer classification참고 문헌 26인용 수 6

한 줄 요약

이 논문은 군집 수준의 희박성과 함께 군집 내에서의 유연한 변수 선택을 가능하게 하면서도 군집 간 희박성을 유지하는 계층적 Lasso 방법을 제안한다. 군집 수준와 개별 수준의 페널티를 조합함으로써, 점차적 최적 추정 및 선택 일致성과 함께 오라클 성질을 달성한다.

ABSTRACT

In many engineering and scientific applications, prediction variables are grouped, for example, in biological applications where assayed genes or proteins can be grouped by biological roles or biological pathways. Common statistical analysis methods such as ANOVA, factor analysis, and functional modeling with basis sets also exhibit natural variable groupings. Existing successful group variable selection methods such as Antoniadis and Fan (2001), Yuan and Lin (2006) and Zhao, Rocha and Yu (2009) have the limitation of selecting variables in an "all-in-all-out" fashion, i.e., when one variable in a group is selected, all other variables in the same group are also selected. In many real problems, however, we may want to keep the flexibility of selecting variables within a group, such as in gene-set selection. In this paper, we develop a new group variable selection method that not only removes unimportant groups effectively, but also keeps the flexibility of selecting variables within a group. We also show that the new method offers the potential for achieving the theoretical "oracle" property as in Fan and Li (2001) and Fan and Peng (2004).

연구 동기 및 목표

• 기존 군집 선택 방법이 단일 변수의 유의성에 따라 전체 군집을 선택하거나 기각하는 '모두 포함-모두 제외' 정책을 강요하는 한계를 해결한다.
• 유전체 분석과 같이 경로상의 일부 유전자만 생물학적으로 관련성이 있는 응용 분야에서 군집 내에서의 선택적 변수 포함이 필수적이라는 점을 반영한다.
• 군집 수준와 개별 수준의 페널티를 조합하여 군집 희박성과 군집 내에서의 민첩성 모두를 달성하는 정규화 방법을 개발한다.
• 제안된 방법이 이론적 '오라클 성질'을 달성한다는 것을 입증한다—즉, 점차적으로 올바른 모형을 선택하고 최적 효율성으로 계수를 추정한다.

제안 방법

• 군집 수준에선 L2-노름 페널티, 각 군집 내 개별 변수 수준에선 L1-노름 페널티를 적용하는 계층적 Lasso 페널티를 제안한다.
• 최적화 문제를 음의 로그우도에 페널티 항을 더한 형태로 설정한다: $ \sum_{k=1}^{K} \|\boldsymbol{\beta}_k\|_2 + \lambda \sum_{k=1}^{K} \sum_{j=1}^{p_k} |\beta_{kj}| $, 여기서 $ \|\boldsymbol{\beta}_k\|_2 $ 는 군집 수준의 페널티이다.
• 이중 단계 추정 절차를 사용한다: 먼저 군집 Lasso를 통해 군집 구조를 추정하고, 그 다음 선택된 군집 내에서 개별 변수 선택을 정밀화한다.
• 규칙성 조건 하에서 渐近 분석을 수행하여 오라클 성질을 입증한다. 진짜 모형의 희박성과 L1 및 군집 L2 페널티가 영에서 특이성을 가지는 것을 활용한다.
• 활성 변수 추정과 군집 구조 간의 분리를 위해 $ \boldsymbol{\beta}_{n,\mathcal{A}_n} = \boldsymbol{B}^T_n \boldsymbol{\gamma}_n $ 를 통한 재매개변수화를 활용한다.
• 목표 함수의 헤시안과 기울기의 분석을 통해 추정기의 渐近 정규성과 일致성을 입증하며, 표본 크기가 증가함에 따라 진짜 모형으로 수렴하는 것을 보여준다.

실험 결과

연구 질문

• RQ1 전통적인 군집 Lasso가 모두 포함-모두 제외 정책을 강요하는 것과는 달리, 군집 내에서 개별 변수 선택이 가능한 군집 변수 선택 방법을 설계할 수 있는가?
• RQ2 군집 L2와 개별 L1 노름을 조합한 계층적 페널티는 고차원 설정에서 오라클 성질을 달성하는 데 성공하는가?
• RQ3 기존의 군집 선택 기법들인 군집 Lasso와 비교해 볼 때, 제안된 방법은 모형 선택 정확도와 추정 효율성 측면에서 어떻게 다른가?
• RQ4 계층적 페널티 하에서 추정기의 점차적 성질은 무엇인가? 특히 변수 선택 일치성과 추정 편향 측면에서 어떻게 되는가?
• RQ5 표본 크기가 증가함에 따라, 예측 변수의 수가 증가하더라도 이 방법은 올바른 군집과 변수 구조를 일관되게 식별할 수 있는가?

주요 결과

• 제안된 계층적 Lasso 방법은 기존 군집 Lasso의 모두 포함-모두 제외 정책을 피하면서도 군집 내에서의 변수 선택에 대해 높은 유연성을 확보한다.
• 이 방법은 오라클 성질을 달성한다: 변수 선택에서 일관성 있고 점차적으로 정규분포를 띠며 최적의 추정 효율성을 확보한다.
• 이론적 분석을 통해 표본 크기가 증가함에 따라 추정기의 진짜 모형으로 수렴할 확률이 1에 수렴한다는 것을 입증한다.
• 목표 함수의 헤시안은 확률적으로 유계이며, 추정된 매개변수와 진짜 매개변수 간의 차이는 $ O_p(\sqrt{q/n}) $ 속도로 0으로 수렴한다. 여기서 $ q $ 는 활성 변수의 수이다.
• 진짜로 예측력이 있는 변수가 군집 내 일부에만 존재하는 설정에서는 표준 Lasso와 군집 Lasso보다 성능이 뛰어나다.
• 이론적 결과는 규칙성 조건(희박성, 유계 고유값 등) 하에서 계층적 페널티 구조가 군집 및 개별 변수 선택에 대해 일관성을 갖춘다는 것을 확인한다.