[논문 리뷰] Horseshoe Regularization for Feature Subset Selection

Anindya Bhadra, Jyotishka Datta외 2명|arXiv (Cornell University)|2017. 02. 23.

Face and Expression Recognition참고 문헌 40인용 수 7

한 줄 요약

이 논문은 고차원 특징 서브셋 선택 문제를 베이지안 사후 모드 추정 문제로 재정의하고, 말굽형 사전분포(horseshoe prior)를 도입함으로써 효율적인 최적화를 위한 EM 및 국소 선형 근사(LA) 알고리즘과 MCMC를 통한 불확실성 정량화를 가능하게 하는 말굽형 정규화를 제안한다. 이는 기존의 비볼록 최적화 솔버보다 뛰어난 통계적 성능과 훨씬 빠른 계산 속도를 달성한다.

ABSTRACT

Feature subset selection arises in many high-dimensional applications of statistics, such as compressed sensing and genomics. The $\ell_0$ penalty is ideal for this task, the caveat being it requires the NP-hard combinatorial evaluation of all models. A recent area of considerable interest is to develop efficient algorithms to fit models with a non-convex $\ell_γ$ penalty for $γ\in (0,1)$, which results in sparser models than the convex $\ell_1$ or lasso penalty, but is harder to fit. We propose an alternative, termed the horseshoe regularization penalty for feature subset selection, and demonstrate its theoretical and computational advantages. The distinguishing feature from existing non-convex optimization approaches is a full probabilistic representation of the penalty as the negative of the logarithm of a suitable prior, which in turn enables efficient expectation-maximization and local linear approximation algorithms for optimization and MCMC for uncertainty quantification. In synthetic and real data, the resulting algorithms provide better statistical performance, and the computation requires a fraction of time of state-of-the-art non-convex solvers.

연구 동기 및 목표

• 고차원 특징 서브셋 선택을 위한 계산적으로 효율적이고 통계적으로 강력한 방법을 개발하기 위해.
• 큰 신호에 대해 편향을 유도하고 추정 성능이 열악한 라소와 같은 볼록 페널티의 한계를 극복하기 위해.
• 이deal한 ℓ₀ 페널티의 계산 불가능성을 확률적이고 확장 가능한 대체 방법으로 해결하기 위해.
• 단순한 점 추정이 아닌 MCMC를 통한 불확실성 정량화를 포함하는 완전한 베이지안 프레임워크를 제공하기 위해.
• 말굽형 정규화가 기존의 비볼록 페널티보다 더 나은 희박성과 추정 정확도를 제공하는가를 입증하기 위해.

제안 방법

• 말굽형 사전분포는 반정규 전역 수축 매개변수를 가진 정규분포의 척도 혼합으로 모델링되어 효율적인 계산을 위한 계층적 표현을 가능하게 한다.
• 페널티는 말굽형 사전분포의 로그의 음수로 유도되며, 이는 최적화 문제를 사후 모드 추정 문제로 변환한다.
• 비볼록 목적함수의 빠른 최적화를 위해 기대치 최대화(EM) 및 국소 선형 근사(LLL) 알고리즘이 개발된다.
• 특징 선택 및 매개변수 추정의 불확실성 정량화를 위해 마르코프 체인 몬테카를로(MCMC) 샘플링이 사용된다.
• 조합적 모델 평가 없이도 확장 가능한 추론을 가능하게 하기 위해 잠재변수 표현을 활용한다.
• 말굽형 사전분포의 무거운 尾와 영점 주변의 스파이크는 자연스럽게 희박성과 관련 없는 특징의 수축을 촉진한다.

실험 결과

연구 질문

• RQ1 완전히 확률적인 접근 방식이 비볼록 정규화에서 기존의 비볼록 솔버보다 통계적 성능과 계산 속도 양면에서 뛰어나게 할 수 있는가?
• RQ2 말굽형 사전분포의 계층적 구조가 고차원 특징 선택에서 효율적인 최적화와 불확실성 정량화를 가능하게 하는가?
• RQ3 SCAD 및 MCP와 비교할 때 말굽형 정규화는 변수 선택 정확도와 평균 제곱 오차 측면에서 어떻게 성능을 내는가?
• RQ4 말굽형 사전분포의 이론적 성질(예: 근사 최소자승 추정)이 실용적이고 확장 가능한 알고리즘으로 활용될 수 있는가?
• RQ5 점 추정에 비해 MCMC 기반의 불확실성 정량화는 얼마나 많은 계산 오버헤드를 유발하는가?

주요 결과

• 말굽형 정규화 방법은 시뮬레이션 데이터와 실제 데이터에서 기존의 최첨단 비볼록 솔버보다 뛰어난 통계적 성능을 달성한다.
• 효율적인 EM 및 LLA 알고리즘 덕분에 기존 비볼록 솔버가 요구하는 시간의 일부분으로 계산 시간이 단축된다.
• 말굽형 사전분포의 스파이크와 무거운 꼬리 덕분에 진짜 특징을 높은 정확도로 식별하고 노이즈 변수를 거의 영에 수렴하게 수축시킨다.
• MCMC 샘플링은 신뢰구간이 특징 포함 확률의 진짜 변동성을 반영하는 바람직한 불확실성 정량화를 제공한다.
• 말굽형 사전분포의 계층적 표현 덕분에 조합적 탐색 없이도 안정적이고 빠른 사후 모드 추정이 가능하다.
• 이론적 분석을 통해 말굽형 페널티가 적절한 정규성 조건 하에 최적의 추정과 선택 일致성을 보장함을 확인하였다.