[논문 리뷰] Estimation and Feature Selection in Mixtures of Generalized Linear Experts Models

Bao Huynh, Faïcel Chamroukhi|arXiv (Cornell University)|2019. 07. 14.

Bayesian Methods and Mixture Models참고 문헌 34인용 수 4

한 줄 요약

이 논문은 일반선형 전문가의 혼합 모델(MoE)에 대한 정규화된 최대우도 추정 프레임워크를 제안하며, $λ_1$-패널티를 통한 특징 선택과 고차원 설정에서 효율적인 매개변수 추정을 위한 프록시멀-뉴턴 EM 알고리즘을 통합한다. 이 방법은 희박하고 안정적인 해를 도출하며, 진정한 특징 패턴을 복원하고 이질적인 회귀 데이터를 클러스터링하는 데 있어 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

Mixtures-of-Experts (MoE) are conditional mixture models that have shown their performance in modeling heterogeneity in data in many statistical learning approaches for prediction, including regression and classification, as well as for clustering. Their estimation in high-dimensional problems is still however challenging. We consider the problem of parameter estimation and feature selection in MoE models with different generalized linear experts models, and propose a regularized maximum likelihood estimation that efficiently encourages sparse solutions for heterogeneous data with high-dimensional predictors. The developed proximal-Newton EM algorithm includes proximal Newton-type procedures to update the model parameter by monotonically maximizing the objective function and allows to perform efficient estimation and feature selection. An experimental study shows the good performance of the algorithms in terms of recovering the actual sparse solutions, parameter estimation, and clustering of heterogeneous regression data, compared to the main state-of-the art competitors.

연구 동기 및 목표

• 고차원에서의 일반선형 전문가 혼합 모델(MoE)에서의 매개변수 추정 및 특징 선택 문제를 해결하기 위해.
• 예측 변수가 많고 상관관계가 높을 경우 표준 최대우도 추정(MLE)의 불안정성과 희박성 부족 문제를 극복하기 위해.
• 정규화된 목표 함수를 단순히 증가시키며 동시에 희박한 해를 촉진하는 계산적으로 효율적인 알고리즘을 개발하기 위해.
• Lasso, SCAD 등 정규화 기법을 일반선형 전문가를 가진 MoE 모델에 확장하여 모델의 해석 가능성과 성능을 향상시키기 위해.
• 알고리즘이 이질적 데이터에서 진정한 희박한 구조를 복원할 수 있음을 이론적 및 실증적으로 검증하기 위해.

제안 방법

• 전문가 모델 계수의 희박성을 유도하기 위해 $λ_1$-노름 패널티를 적용한 정규화된 최대우도 목표 함수를 사용한다.
• 로그우도의 순차적 이차 근사 문제를 해결함으로써 매개변수를 반복적으로 갱신하는 프록시멀-뉴턴 유형의 EM 알고리즘을 개발한다.
• 현재 매개변수 추정치 주변에서 로그우도 함수의 국소적 이차 근사를 구성하기 위해 테일러 전개를 적용한다.
• 포isson 및 다항분포 출력의 경우, 근사된 목표 함수의 일阶 및 이阶 도함수에 대한 명시적 표현을 유도한다.
• 각 반복에서 목표 함수가 단조롭게 증가하도록 보장하기 위해 프록시멀-뉴턴 단계에서 좌표별 갱신 전략을 구현한다.
• 특징 선택을 효과적으로 수행하기 위해 최적화 단계에서 소프트 임계처리를 적용한다.

실험 결과

연구 질문

• RQ1 정규화된 최대우도 추정이 고차원 MoE 모델에서 매개변수 추정 및 특징 선택을 향상시킬 수 있는가?
• RQ2 고차원 예측 변수가 존재할 경우 제안된 프록시멀-뉴턴 EM 알고리즘이 단조롭고 효율적으로 수렴하는가?
• RQ3 알고리즘의 성능은 이질적 회귀 데이터에서 진정한 희박한 구조를 복원하는 데 있어 최신 기술과 비교하여 어떻게 되는가?
• RQ4 전문가 구성 요소에서 다양한 가수분포(포아송, 다항분포)를 효과적으로 처리할 수 있는가?
• RQ5 비볼록 패널티(예: SCAD)와 볼록 패널티(예: Lasso)의 영향은 모델 선택 및 추정 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 프록시멀-뉴턴 EM 알고리즘은 정규화된 목표 함수를 단조롭게 증가시켜 안정적인 수렴을 보장한다.
• 모의 고차원 회귀 데이터에서 진정한 기저 희박한 특징 패턴을 성공적으로 복원하며, 특징 선택 정확도에서 경쟁 기술보다 뛰어나다.
• 포아송 및 다항분포 출력의 경우, 고차원 설정에서 표준 MLE보다 편향이 감소한 정확한 매개변수 추정을 달성한다.
• 알고리즘은 이질적 회귀 데이터 클러스터링에서 뛰어난 성능을 보이며, 기저의 하위집단을 정확히 식별한다.
• 이차 근사와 프록시멀 갱신을 통해 예측 변수의 수가 많을 때에도 효율적인 계산이 가능하다.
• 실증 결과는 다양한 데이터 구성과 노이즈 수준에서 이론적 성능이 양호하게 유지됨을 확인한다.