[논문 리뷰] Upper Bound on Normalized Maximum Likelihood Codes for Gaussian Mixture Models

So Hirai, Kenji Yamanishi|arXiv (Cornell University)|2017. 09. 04.

Bayesian Methods and Mixture Models참고 문헌 2인용 수 5

한 줄 요약

이 논문은 가우시안 믹스처 모델(GMMs)에 대한 정규화된 최대우도(NML) 코드 길이에 대한 상한을 설정하며, 영역 제한을 위한 데이터 스케일링이 요구됨에도 불구하고 척도 불변 모델 선택이 유지됨을 보여준다. 또한 일반화된 로지스틱 분포에 대한 NML 코드 길이를, 유계 파라미터 영역을 사용하여 해석적으로 유도한 정규화 항을 통해 보정한다.

ABSTRACT

This paper shows that the normalized maximum likelihood~(NML) code-length calculated in [1] is an upper bound on the NML code-length strictly calculated for the Gaussian Mixture Model. When we use this upper bound on the NML code-length, we must change the scale of the data sequence to satisfy the restricted domain. However, we also show that the algorithm for model selection is essentially universal, regardless of the scale conversion of the data in Gaussian Mixture Models, and that, consequently, the experimental results in [1] can be used as they are. In addition to this, we correct the NML code-length in [1] for generalized logistic distributions.

연구 동기 및 목표

• 제한되지 않은 파라미터 영역로 인한 발산을 방지하기 위해 GMMs에 대한 계산 가능한 NML 코드 길이 상한을 유도하는 것.
• NML 기준을 사용한 모델 선택이 데이터 스케일 변환에 대해 불변함을 입증하여 강건성을 확보하는 것.
• 유계 파라미터 제약 조건 하에서 일반화된 로지스틱 분포의 NML 코드 길이를 해석적으로 정규화 항을 계산하여 보정하는 것.
• 스케일 변환과 정규화 보정 이후 이전 연구의 실험 결과가 여전히 적용 가능함을 검증하는 것.

제안 방법

• GMMs의 정규화 항 𝒞(ℳ, n)에 대한 상한을 유도하기 위해 공분산 행렬의 고유값으로 정의된 유계 영역으로 파라미터 영역을 제한한다.
• 평균과 공분산의 최대우도추정량(MLE)을 정의하여 가능도 함수를 설정하고, 스케일 불변성을 분석하기 위해 변수 변경을 적용한다.
• 모델 간 NML 코드 길이의 차이가 데이터 스케일링에 대해 불변임을 증명함으로써, 로그가능도 항이 모든 모델에서 균일하게 스케일링됨을 보여준다.
• 일반화된 로지스틱 분포의 파라미터 θ에 대해 유계 영역 [θ_min, θ_max]을 도입하여 MLE가 유한한 정규화를 보장한다.
• MLE의 감마 분포 성질을 이용하여 정규화 항을 해석적으로 계산하고, 유계 θ 영역에서 적분하여 log(θ_max/θ_min) 의존성을 유도한다.
• 부피와 감마 함수 근사법을 사용하여 정규화 항에 대한 상한을 제안하고, 이를 통해 닫힌 형태의 uNML 코드 길이를 도출한다.

실험 결과

연구 질문

• RQ1 제한된 영역에 제한된 경우 GMMs에 대한 NML 코드 길이가 데이터 스케일링에 대해 불변인가?
• RQ2 제한되지 않은 영역으로 인한 발산을 방지하기 위해 GMMs의 정규화 항에 대해 해석적인 상한을 도출할 수 있는가?
• RQ3 NML을 기준으로 사용할 때 스케일 변환이 모델 선택에 어떤 영향을 미치는가?
• RQ4 유계 파라미터 영역 하에서 일반화된 로지스틱 분포의 NML 코드 길이에 대한 정확한 정규화 항은 무엇인가?
• RQ5 스케일 변환과 정규화 보정 이후 이전 연구의 실험 결과를 재사용할 수 있는가?

주요 결과

• 두 모델 간 NML 코드 길이의 차이는 데이터 스케일링에 대해 불변임을 증명하여, 스케일에 관계없이 모델 선택이 본질적으로 보편적임을 입증한다.
• GMMs에 대한 정규화 항 𝒞(ℳ, n)에 대한 상한으로서 𝒞_u(ℳ, n) = B(m,R,ε) × (n/(2e))^(mn/2) / Γ_m((n−1)/2) 를 도출하였으며, 이는 유한하고 계산 가능한 값이다.
• 일반화된 로지스틱 분포의 정규화 항은 𝒞(ℳ) = (n^n / (e^n (n−1)!)) × log(θ_max / θ_min) 로 해석적으로 계산되었으며, 이는 유한하고 다룰 수 있는 NML 코드 길이를 보장한다.
• 일반화된 로지스틱 분포에 대한 NML 코드 길이 보정은 MLE의 정확한 분포를 반영하여 이전의 근사치보다 정확도를 향상시킨다.
• GMMs에 대한 NML 코드 길이 상한 덕분에, 데이터 스케일링 이후에도 이전 연구의 실험 결과를 재평가 없이 그대로 사용할 수 있다.
• 제안된 uNML 코드 길이는 원래 NML과 동일한 모델 선택 성능를 유지하므로 실용적 사용에 있어 타당함을 확인한다.