[논문 리뷰] Bayesian Properties of Normalized Maximum Likelihood and its Fast Computation

Andrew R. Barron, Teemu Roos외 1명|arXiv (Cornell University)|2014. 01. 28.

Gaussian Processes and Bayesian Inference참고 문헌 5인용 수 4

한 줄 요약

이 논문은 약간의 선형 독립성 조건 하에, 부호가 있는(양수 및 음수) 사전 가중치를 허용함에도 불구하고, 정규화된 최대우도(NML) 분포를 유한한 혼합 모형으로 정확한 베이즈 유사 표현으로 설정한다. 이 방법은 선형 대수학 또는 최적화를 통해 NML 주변확률과 조건부 확률을 빠르고 정확하게 계산할 수 있게 하여, 보편적 부호화 및 예측 작업에서 효율성을 크게 향상시킨다.

ABSTRACT

The normalized maximized likelihood (NML) provides the minimax regret solution in universal data compression, gambling, and prediction, and it plays an essential role in the minimum description length (MDL) method of statistical modeling and estimation. Here we show that the normalized maximum likelihood has a Bayes-like representation as a mixture of the component models, even in finite samples, though the weights of linear combination may be both positive and negative. This representation addresses in part the relationship between MDL and Bayes modeling. This representation has the advantage of speeding the calculation of marginals and conditionals required for coding and prediction applications.

연구 동기 및 목표

• 유한 샘플에서 사전 가중치가 양수 및 음수일 수 있는 경우에도, 정규화된 최대우도(NML)를 정확한 베이즈 유사 혼합으로 표현하는 것.
• 최소 기술 길이(MDL)와 베이지안 모델링 간의 이론적 관계를 규명하기 위해, 일부 모형에서 정확한 NML 표현을 위해 부호가 있는 사전이 필수적임을 보여주는 것.
• 데이터 압축 및 예측에서 요구되는 NML 주변확률과 조건부 확률를 계산하기 위한 계산적으로 효율적인 방법을 개발하는 것.
• 정확한 표현을 위해 필요한 질량점의 수가 모형의 자유도에 의해 유계임을 보여주며, 특히 이산 지수족에 대해 논의하는 것.
• 베르누이 시험이나 유사한 상황에서 이 표현이 예측 성능에 미치는 영향을 탐색하며, 특히 베르누이 시험에서 사후 평균이 최대우도 추정치와 일치함을 보여주는 것.

제안 방법

• 고정된 $ \theta_k $ 가 주어졌을 때, 선형 대수학을 사용하여 부호가 있는 가중치 $ W_k $ 를 구함으로써, NML을 구성 밀도 $ p(x|\theta_k) $ 의 유한한 혼합으로 표현한다.
• 뉴턴 유사 최적화 알고리즘을 사용하여 질량점의 위치 $ \theta_k $ 와 가중치 $ W_k $ 를 동시에 추정하며, 큰 $ \beta $ 를 사용해 최악의 경우 비율을 근사하는 린엔다 분산 기준을 최소화한다.
• 모든 $ W_k $ 의 합이 1이 되도록 제약 조건을 적용하며, 수렴이 최대위험 솔루션으로 이루어지도록 $ \beta = 150 $ (또는 $ n=500 $ 일 경우 $ 120 $) 로 설정한다.
• 수렴을 향상시키고 탈선을 방지하기 위해 질량점을 $ \sin^2((k-1)\pi / 2(K-1)) $ 에 초기화한다.
• K-L 발산 $ D(\text{NML} \| \text{mix}) < 10^{-7} $ 과 최악의 경우 비율 $ \max_x \text{NML}(x)/\text{mix}(x) < 1 + 10^{-3} $ 을 통해 정확도를 검증한다.
• 베르누이 모형에 대해 $ n $ 개의 i.i.d. 시험을 적용하여, $ \lfloor n/2 \rfloor + 1 $ 또는 $ n+1 $ 개의 질량점으로 정확한 표현이 가능함을 보여준다.

실험 결과

연구 질문

• RQ1 정규화된 최대우도(NML)는 사전 가중치가 음수일 수 있는 경우에도 정확히 유한한 베이즈 혼합으로 표현될 수 있는가?
• RQ2 주어진 매개변수 모형에서 NML을 정확히 표현하기 위해 필요한 최소 질량점 수는 얼마이며, 이는 모형의 자유도와 어떻게 관련되는가?
• RQ3 보편적 부호화 및 예측에서 주변확률과 조건부 확률 추정을 위한 NML 분포를 어떻게 효율적으로 계산할 수 있는가?
• RQ4 언제 어떤 베이즈 유사 표현이 비음수 사전 가중치가 아닌, 부호가 있는(양수 및 음수) 사전 가중치를 요구하는가?
• RQ5 베르누이 시험에서, 사후 평균 로그 오즈가 최대우도 추정치와 일치하도록 NML 매칭 사전을 구성할 수 있는가?

주요 결과

• 모형에 대해 약간의 선형 독립성 조건이 만족되면, 부호가 있는 사전 가중치를 포함한 정확한 NML 혼합 표현이 존재한다.
• i.i.d. $ n $ 개의 시험을 가진 베르누이 모형에서, $ \theta_k $ 와 $ W_k $ 가 모두 최적화될 경우 $ \lfloor n/2 \rfloor + 1 $ 개의 질량점으로 충분히 정확한 NML 표현이 가능하다.
• 질량점 수가 $ n+1 $ 개이면, $ \theta_k $ 의 값과 관계없이 정확한 표현이 보장되며, $ \theta_k $ 의 최적화는 근사 정확도를 더욱 향상시킨다.
• 제안된 최적화 방법은 $ D(\text{NML} \| \text{mix}) < 10^{-7} $ 과 최악의 경우 비율 $ \max_x \text{NML}(x)/\text{mix}(x) < 1 + 10^{-3} $ 을 달성하여 높은 정밀도를 확인한다.
• 이 방법은 산술 부호화와 순차적 예측에 필수적인 NML 주변확률과 조건부 확률를 빠르고 정확하게 계산할 수 있게 한다.
• 베르누이 시험에서, NML 매칭 사전는 1의 개수가 0 또는 $ n $ 이 아닐 경우, 사후 평균 로그 오즈가 로그 오즈의 최대우도 추정치와 정확히 일치함을 보장한다.