[논문 리뷰] Strong consistency of MLE for finite mixtures of location-scale distributions when the ratios of the scale parameters are exponentially small

Kentaro Tanaka|arXiv (Cornell University)|2006. 09. 25.

Bayesian Methods and Mixture Models참고 문헌 11인용 수 3

한 줄 요약

이 논문은 표본 크기 $n$ 에 대해 $0 < d < 1$ 인 $ olimits\exp(-n^d)$ 에 의해 아래로 유계인 척도 매개변수 비율을 가진 유한 혼합 모형의 최대우도추정량(MLE)의 강한 일致성을 확립한다. 척도 매개변수 비율을 지수항에서 다항적으로 감쇠시키는 제약을 두어, Hathaway(1985)가 제기한 열린 문제를 해결하고, 표본 크기가 증가함에 따라 척도 비율의 하한이 0에 수렴함에도 MLE가 여전히 일치함을 보여준다.

ABSTRACT

In finite mixtures of location-scale distributions, if there is no constraint on the parameters then the maximum likelihood estimate does not exist. But when the ratios of the scale parameters are restricted appropriately, the maximum likelihood estimate exists. We prove that the maximum likelihood estimator (MLE) is strongly consistent, if the ratios of the scale parameters are restricted from below by $\exp(-n^{d}), 0 &lt; d &lt; 1 $, where $n$ is the sample size.

연구 동기 및 목표

• 표본 크기가 증가함에 따라 척도 매개변수 비율의 하한이 0으로 수렴할 때 MLE가 여전히 강하게 일치하는지 여부에 대해 Hathaway(1985)가 제기한 열린 문제를 해결하기 위해.
• 척도 매개변수가 0에서 멀리 떨어져 있지 않은 경우에도, 유한 혼합 모형의 MLE가 존재하고 일치하는 조건을 설정하기 위해.
• MLE의 강한 일치성을 유지할 수 있는 척도 매개변수 비율의 최소 감쇠 속도를 규명하기 위해.
• 이전의 척도 매개변수 제약 하에서 MLE 일치성에 대한 결과를 더 일반적이고 점 渐진적으로 날카로운 영역으로 확장하기 위해.

제안 방법

• 저자는 척도 매개변수 간 최소 비율이 $b_n = \exp(-n^d)$ 에 의해 아래로 유계이도록 하는 제약된 매개변수 공간 $\Theta_{b_n}$ 을 정의한다. 여기서 $0 < d < 1$ 이다.
• Borel-Cantelli 보조정리의 논증을 통해, 우도가 무한히 커지는 영역에 많은 수의 데이터 포인트가 관측될 확률이 0으로 수렴함을 보였다.
• 증명은 진짜 매개변수 근처의 간격에 포함된 데이터 포인트 수를 이용해 로그우도 함수를 유계화하고, 농도 부등식을 통해 꼬리 행동을 통제하는 방식이다.
• 핵심 부등식은 척도 비율 제약을 활용하여, 우도가 폭주할 수 있는 영역에 속하는 데이터 포인트의 기대 수를 유계화하는 데 사용된다.
• 분석은 척도 매개변수가 너무 작아서 해당 성분의 우도 기여가 무시무시할 때, 데이터 포인트가 정확히 위치 매개변수와 일치하는 경우를 제외하면 우도 기여가 무시무시하다는 사실에 기반한다. 이 경우의 발생 확률은 점점 0에 수렴한다.
• 저자는 확률적 경계와 점근적 평가를 연속적으로 적용하여, 대안 모형 하에서 정규화된 로그우도가 거의 확실히 음의 무한대로 수렴함을 보여, 일치성을 확보하였다.

실험 결과

연구 질문

• RQ1 표본 크기가 증가함에 따라 척도 매개변수 비율의 하한이 0으로 수렴할 때, 유한 혼합 모형의 최대우도추정량(MLE)이 여전히 강하게 일치하는가?
• RQ2 척도 매개변수 비율이 감쇠하는 가장 느린 속도는 무엇인가, 여전히 MLE의 강한 일치성을 유지할 수 있는가?
• RQ3 $0 < d < 1$ 인 $ olimits\exp(-n^d)$ 는 유한 혼합 모형의 MLE 일치성을 확보하기 위해 점 渐진적으로 최적인가?
• RQ4 척도 비율 제약이 $ olimits\exp(-n^r)$ ($r > 1$) 로 완화될 경우, 일치성 실패의 경계에 가까워지면서도 MLE는 여전히 일치하는가?

주요 결과

• 모든 $0 < d < 1$ 에 대해 척도 매개변수 비율이 $ olimits\exp(-n^d)$ 에 의해 아래로 유계이면 MLE는 강하게 일치한다.
• 비율 $ olimits\exp(-n^d)$ 는 거의 최적이며, 논문은 $r > 1$ 인 $ olimits\exp(-n^r)$ 에서 일치성이 실패함을 보여준다.
• 증명은 대안 모형 하에서 MLE의 정규화된 로그우도가 거의 확실히 음의 무한대로 수렴함을 보여, 일치성을 보장한다.
• 이 결과는 Hathaway(1985)의 열린 문제를 해결하고, 척도 비율 제약이 표본 크기가 증가함에 따라 극적으로 약해져도 MLE가 여전히 일치함을 확인한다.
• 진짜 밀도가 $M$-성분 혼합 클래스에 속하지만, 어떤 $M-1$-성분 클래스에도 속하지 않는다는 약간의 규칙성 조건 하에서 분석이 성립한다.
• 이 방법은 척도 매개변수가 지수항에서 극적으로 감쇠하더라도, 주어진 제약 조건 하에서는 MLE 일치성을 유지할 수 있도록 우도 함수가 충분히 잘 행동함을 보여준다.