[논문 리뷰] Fully Bayesian Classification with Heavy-tailed Priors for Selection in High-dimensional Features with Grouping Structure

Lai Jiang, Longhai Li외 1명|arXiv (Cornell University)|2016. 07. 01.

Statistical Methods and Inference참고 문헌 44인용 수 3

한 줄 요약

이 논문은 고차원적 특징 선택을 위한 완전 베이지안 로비트 회귀 방법인 FBRHT를 제안한다. 무거운 尾를 가진 사전 분포를 사용하여 군집화되어 있거나 상관관계가 있는 특징을 고려하면서도 사전에 정의된 그룹 구조가 필요 없이 희박하고 예측 가능한 특징 조합을 자동으로 식별한다. LASSO, 그룹 LASSO 및 기타 방법들과 비교하여 예측 성능은 유사하거나 뛰어나면서도 훨씬 더 희박한 특징 집합을 확보한다. 특히 실제 유전자 발현 데이터에서 뛰어난 성능을 보였다.

ABSTRACT

Feature selection is demanded in many modern scientific research problems that use high-dimensional data. A typical example is to find the most useful genes that are related to a certain disease (eg, cancer) from high-dimensional gene expressions. The expressions of genes have grouping structures, for example, a group of co-regulated genes that have similar biological functions tend to have similar expressions. Many statistical methods have been proposed to take the grouping structure into consideration in feature selection, including group LASSO, supervised group LASSO, and regression on group representatives. In this paper, we propose a fully Bayesian Robit regression method with heavy-tailed (sparsity) priors (shortened by FBRHT) for selecting features with grouping structure. The main features of FBRHT include that it discards more aggressively unrelated features than LASSO, and it can make feature selection within groups automatically without a pre-specified grouping structure. In this paper, we use simulated and real datasets to demonstrate that the predictive power of the sparse feature subsets selected by FBRHT are comparable with other much larger feature subsets selected by LASSO, group LASSO, supervised group LASSO, penalized logistic regression and random forest, and that the succinct feature subsets selected by FBRHT have significantly better predictive power than the feature subsets of the same size taken from the top features selected by the aforementioned methods.

연구 동기 및 목표

• 고차원 데이터에서 내재된 그룹화 또는 상관관계 구조를 가진 특징 조합을 희박하고 예측 가능한 방식으로 선택하는 데 도전하는 것.
• 비볼록 페널티 방법의 한계(불안정한 최적화, 낮은 확장성 등)를 완화하기 위해 MCMC 샘플링을 사용하는 완전 베이지안 프레임워크를 도입하는 것.
• 사전에 정의된 그룹화 없이도 특징 간 상관관계를 자연스럽게 활용하여 그룹 내 자동 특징 선택을 가능하게 하는 것.
• LASSO, 그룹 LASSO, 랜덤 포레스트 등의 기존 방법보다 더 높은 예측 성능을 달성하면서도 훨씬 더 희박한 특징 집합을 확보하는 것.
• 무거운 尾 사전 분포의 희박성 유도 특성과 베이지안 추론의 해석 가능성 특성을 결합한 안정적이고 강력한 방법 개발

제안 방법

• FBRHT는 계수 추정치의 희박성을 유도하기 위해 무거운 尾(예: 라플라스, 호르쉐이프 유사) 사전 분포를 사용하는 완전 베이지안 로비트 회귀 모델을 적용한다.
• 계수의 사후 분포를 탐색하기 위해 마르코프 체인 몬테카를로(MCMC) 샘플링을 사용하여 불확실성 정량화 및 강력한 특징 선택을 가능하게 한다.
• 사전에 정의된 그룹화 없이도 특징 간 상관관계를 활용하여 그룹 내 자동 선택을 수행한다.
• 특징 선택은 MCMC 출력에서 모드를 식별함으로써 이루어지며, 잡음 제거를 위해 임계값 규칙(예: 상대 계수 크기 > 0.1)을 적용한다.
• 이중 단계 접근법을 사용한다: 첫 번째 단계에서는 전체 특징 집합에서 유망한 그룹을 식별하기 위해 MCMC를 실행하고, 두 번째 단계에서는 후보 특징의 감소된 집합에서 재실행하여 정밀도를 높인다.
• 이 방법은 다양한 유형의 무거운 尾 사전 분포를 처리할 수 있으며, 선형 모델 및 그래픽 모델과 같은 다른 모델로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 무거운 尾 사전 분포를 갖는 완전 베이지안 접근법이 그룹화 구조가 있는 고차원 데이터에서 희박하고 예측 가능한 특징 조합을 선택하는 데에 전통적인 빈도주의 페널티 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ2 FBRHT는 사전에 정의된 그룹화 없이도 자동으로 그룹 내 특징 선택을 수행할 수 있는가?
• RQ3 FBRHT는 LASSO, 그룹 LASSO, 랜덤 포레스트와 비교해 비슷하거나 더 뛰어난 예측 성능를 달성하면서도 훨씬 더 적은 수의 특징을 사용할 수 있는가?
• RQ4 특징 집합의 크기가 동일할 경우 FBRHT의 예측 성능는 다른 방법들과 비교해 어떻게 되는가?
• RQ5 무거운 尾 사전 분포를 갖는 MCMC 기반의 베이지안 추론은 비볼록 최적화에서 흔한 불안정성을 줄이고 선택 과정을 안정화시킬 수 있는가?

주요 결과

• FBRHT는 LASSO, 그룹 LASSO, 지도 기반 그룹 LASSO, 랜덤 포레스트, 페널티 로지스틱 회귀 등으로 선택된 훨씬 더 큰 특징 집합과 비교해도 예측 성능가 유사하거나 뛰어나며, 훨씬 더 적은 특징 수로도 성능을 유지한다.
• 백혈병 데이터셋에서 FBRHT는 평균적으로 1.00개의 유전자를 상위 특징 집합(FBRHTtop)으로 선택했고, LASSO는 평균 26.43개의 특징을 선택했지만 FBRHT는 AUC 1.00을 유지했다.
• 유방암 데이터셋에서 FBRHTtop은 단지 1.00개의 유전자를 사용했고, FBRHTopt는 1.95개를 사용했으며, 둘 다 AUC 1.00을 달성했다. 반면 LASSO는 26.43개의 유전자를 사용했고 AUC는 1.00, ER × 121는 1이었다.
• FBRHT가 선택한 희박한 특징 집합은 LASSO, 그룹 LASSO 등으로 선택된 상위 특징 집합과 같은 크기의 집합보다 유의미하게 뛰어난 예측 능력을 보였다.
• FBRHT는 예측 정확도를 훼손하지 않으면서도 훨씬 더 희박한 특징 집합(1~2개 유전자)을 확보했고, 이로 인해 두 실제 데이터셋 모두에서 AUC 값이 거의 완벽한 1.00에 도달했다.
• 이 방법은 그룹 내 특징 선택과 노이즈 감소를 효과적으로 처리했으며, LASSO보다 관련 없는 특징을 더 극적으로 제거하면서도 신호를 유지했다.