[논문 리뷰] Regularized Maximum Likelihood Estimation and Feature Selection in Mixtures-of-Experts Models

Faïcel Chamroukhi, Bao-Tuyen Huynh|arXiv (Cornell University)|2018. 10. 29.

Bayesian Methods and Mixture Models참고 문헌 18인용 수 9

한 줄 요약

이 논문은 고차원 회귀 데이터에서 자동 특성 선택이 가능한 Mixture-of-Experts (MoE) 모델을 위한 정규화된 최대우도추정 프레임워크를 제안한다. 새로운 MM 및 좌표상승 접근법을 통해 EM 알고리즘에 직접 ℓ1 정규화를 통합함으로써, 행렬 역행렬 계산이나 임계값 설정 없이도 희박한 매개변수 추정을 달성하며, 진짜 희박한 구조 복원과 이질적 데이터 클러스터링에서 뛰어난 성능을 보인다.

ABSTRACT

Mixture of Experts (MoE) are successful models for modeling heterogeneous data in many statistical learning problems including regression, clustering and classification. Generally fitted by maximum likelihood estimation via the well-known EM algorithm, their application to high-dimensional problems is still therefore challenging. We consider the problem of fitting and feature selection in MoE models, and propose a regularized maximum likelihood estimation approach that encourages sparse solutions for heterogeneous regression data models with potentially high-dimensional predictors. Unlike state-of-the art regularized MLE for MoE, the proposed modelings do not require an approximate of the penalty function. We develop two hybrid EM algorithms: an Expectation-Majorization-Maximization (EM/MM) algorithm, and an EM algorithm with coordinate ascent algorithm. The proposed algorithms allow to automatically obtaining sparse solutions without thresholding, and avoid matrix inversion by allowing univariate parameter updates. An experimental study shows the good performance of the algorithms in terms of recovering the actual sparse solutions, parameter estimation, and clustering of heterogeneous regression data.

연구 동기 및 목표

• 기존 최대우도추정(MLE)이 과적합과 희박성 부족 문제로 인해 고차원 설정에서 MoE 모델을 적합하는 데 어려움을 겪는 문제를 해결하기 위해.
• 근사 페널티 함수에 의존하지 않고도 전문가 및 게이팅 네트워크의 매개변수에 모두 희박성을 유도하는 정규화된 MLE 접근법을 개발하기 위해.
• 매트릭스 역행렬 계산을 피하고 고차원 데이터에서 확장 가능한 계산을 가능하게 하는 효율적인 EM 기반 알고리즘을 설계하기 위해.
• 매개변수 갱신 단계에 직접 ℓ1 페널티를 통합하여 후처리 임계값 설정 없이 자동 특성 선택을 달성하기 위해.

제안 방법

• 전문가 회귀 계수(βk)와 게이팅 네트워크 가중치(wk)에 대해 각각 별도의 정규화 파rameter λk와 γk를 포함한 정규화된 Q-함수를 EM 알고리즘에 도입한다.
• 두 가지 하이브리드 EM 알고리즘을 제안: 하나는 게이팅 네트워크 갱신에 MM(Majorization-Minimization) 알고리즘을 사용하고, 다른 하나는 매개변수 최적화에 좌표상승을 사용한다.
• 게이팅 네트워크의 로그-파트리션 항을 미니마이징하기 위해 보조 함수를 사용하여 행렬 역행렬 계산을 피하고, 단변수 갱신과 계산 효율성을 보장한다.
• 레마 3.1 기반의 서로서프 함수를 사용하여 음의 로그우도 항을 미니마이징함으로써 M단계에서 단조 증가를 보장한다.
• MM 알고리즘을 통해 게이팅 네트워크 매개변수(wk)의 명시적 갱신 규칙을 유도하여 수렴성과 수치적 안정성을 보장한다.
• 매개변수를 순차적으로 갱신하기 위해 좌표상승을 적용함으로써 희박성을 유지하고 전체 헤시안 행렬 계산을 피한다.

실험 결과

연구 질문

• RQ1 정규화된 MLE가 후처리 임계값 설정이나 근사 페널티 함수 없이도 MoE 모델에서 자동 특성 선택을 달성할 수 있는가?
• RQ2 EM 알고리즘이 매트릭스 역행렬 계산을 피하면서도 전문가 및 게이팅 네트워크 매개변수에 모두 ℓ1 정규화를 통합할 수 있도록 어떻게 수정할 수 있는가?
• RQ3 제안된 MM 기반의 EM 알고리즘이 희박한 해를 가지는 고차원 설정에서 수렴성과 안정성을 유지하는가?
• RQ4 제안된 방법의 성능은 기존 최첨단 정규화된 MoE 모델에 비해 매개변수 추정 및 클러스터링 정확도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 MM 기반의 EM 알고리즘은 단변수 매개변수 갱신을 가능하게 하여 행렬 역행렬 계산을 완전히 피함으로써 고차원 데이터에 대한 확장성에 크게 기여한다.
• M단계에서 직접 ℓ1 정규화를 통합함으로써 자동 희박성이 달성되며, 후처리 임계값 설정이 필요 없어진다.
• 실험 결과는 시뮬레이션 데이터에서 진짜 희박한 구조를 강력하게 복원함을 보이며, 여러 구성요소에서 관련 예측변수를 높은 정밀도로 식별함을 확인한다.
• EM 알고리즘의 좌표상승 변형은 MM 기반 접근법과 비교해 유사하거나 더 빠른 수렴 속도와 안정성을 보였다.
• 두 알고리즘이 모두 표준 MLE 및 기존 정규화된 MoE 방법보다 이질적 회귀 데이터의 클러스터링에서 뛰어난 성능을 보였으며, 특히 고차원 설정에서 두각을 나타냈다.
• 상관된 예측변수와 고차원 특성 공간이 존재하더라도 과적합과 분해의 위험에 강건함을 유지하였다.