[논문 리뷰] Parameter Estimation from Censored Samples using the Expectation-Maximization Algorithm

Chanseok Park, Seong Beom Lee|arXiv (Cornell University)|2012. 03. 17.

Statistical Distribution Estimation and Applications참고 문헌 14인용 수 3

한 줄 요약

이 논문은 우측으로 잘린 데이터에서 최대우도 추정을 위해 기대최대화(EM) 및 몬테카를로 EM(MCEM) 알고리즘을 제안한다. 특히 정규분포, 라플라스분포, 레일라이히분포에 대해 적용한다. 이 방법은 반복적으로 잘린 값을 보간하고 파라미터를 갱신함으로써 케이싱으로 인한 누락 데이터를 효과적으로 처리하며, 초기값에 관계없이 정확하고 안정적인 추정치를 도출하여 MLE에 수렴한다.

ABSTRACT

This paper deals with parameter estimation when the data are randomly right censored. The maximum likelihood estimates from censored samples are obtained by using the expectation-maximization (EM) and Monte Carlo EM (MCEM) algorithms. We introduce the concept of the EM and MCEM algorithms and develop parameter estimation methods for a variety of distributions such as normal, Laplace and Rayleigh distributions. These proposed methods are illustrated with three examples.

연구 동기 및 목표

• 기본 수치 최적화 방법이 초기값에 민감하거나 우도 함수가 평탄할 경우 실패하는 경우, 잘린 수명 데이터에서의 파라미터 추정 문제를 해결한다.
• 특정 유형의 케이싱에 국한되며 진정한 MLE로 수렴하지 않는 기존 방법(예: 최적의 선형 불편 추정치(BLUE) 및 근사 MLE)의 한계를 극복한다.
• 타입-I(랜덤 포함) 및 타입-II 케이싱에 적용 가능한 일반화 가능한 프레임워크를 개발한다. 이는 여러 분포에 적용 가능한 EM 및 MCEM 알고리즘을 포함한다.
• 다양한 초기값과 분포 가정 조건 하에서 제안된 알고리즘의 강건성과 수렴 성질을 입증한다.
• 특히 복잡하거나 고차원 모델의 경우 직접 우도 최대화가 어려운 상황에서 계산적으로 실현 가능하고 정확한 대안을 제공한다.

제안 방법

• 우측으로 잘린 표본의 관측 데이터 우도를 (w_i, δ_i) 표현식을 사용해 기술한다. 여기서 w_i = min(x_i, R_i)이며, δ_i는 고장 발생 시점이 케이싱 이전이었는지를 나타낸다.
• 잘린 관측치를 누락 데이터로 간주하고 EM 알고리즘을 적용한다. 이는 완전한 데이터의 로그우도 기대값을 반복적으로 계산하고 이를 최대화하여 파라미터 추정치를 갱신한다.
• 정규분포나 라플라스분포와 같이 E단계에서 해석적으로 계산이 어려운 적분이 포함되는 분포의 경우, 몽테카를로 샘플링을 사용해 기대값을 근사하는 MCEM 변형을 사용한다.
• 편의상 역변환 샘플링을 통한 시뮬레이션 기반 E단계를 구현하여, 현재 파라미터 추정치 하에서 잘린 값을 생성한다. 이는 잘린 정규분포 및 라플라스분포에 적용된다.
• 반복적 갱신을 수행한다: 정규분포의 경우 조건부 기대값을 통해 평균과 분산을 갱신한다. 라플라스분포의 경우 경험적 모멘트를 사용해 위치와 척도 파라미터를 갱신한다. 레일라이히분포의 경우 중요도 샘플링을 사용한 MCEM을 통해 척도 파라미터를 갱신한다.
• 반복 과정에서 로그우도와 파라미터 안정성을 모니터링하여 수렴 여부를 확인한다. EM의 경우 10–15회, MCEM의 경우 5–10회 반복 내에 수렴한다.

실험 결과

연구 질문

• RQ1 직접 최적화가 초기값이 열악하거나 우도 함수가 평탄할 경우 실패하는 상황에서, EM 및 MCEM 알고리즘이 잘린 데이터에 대해 일관되고 정확한 최대우도 추정치를 제공할 수 있는가?
• RQ2 타입-I 및 타입-II로 잘린 표본에서, EM/MCEM의 성능은 BLUE나 근사 MLE와 비교해 수렴성과 정확성 측면에서 어떻게 다른가?
• RQ3 MCEM 알고리즘이 다양한 분포(정규, 라플라스, 레일라이히)에 대해 초기 파라미터 값의 선택에 대해 얼마나 강건한가?
• RQ4 MCEM 알고리즘은 E단계에서 해석적으로 계산이 어려운 적분이 포함된 복잡한 우도 함수를 몽테카를로 근사를 통해 다룰 수 있는가?
• RQ5 다양한 추정 모형에 대해 EM 및 MCEM의 수렴 성질과 계산 효율성은 어떠한가?

주요 결과

• EM 및 MCEM 알고리즘은 잘린 정규분포, 라플라스분포, 레일라이히분포에 대해 높은 정확도로 파라미터를 추정하며, 초기값에 관계없이 MLE에 수렴한다.
• 정규분포의 잘린 표본(N=10, r=7)에서 EM/MCEM을 통해 도출된 MLE는 μ̂ = 1.742 및 σ̂ = 0.079로, 이는 구타(1952)에서 이전에 보고된 MLE 오류를 수정한 결과이다.
• 라플라스 예시(N=20, r=18)에서 MCEM은 μ̂ = 49.766 및 σ̂ = 4.688를 도출하였으며, 이는 BLUE(μ̂ = 49.561, σ̂ = 4.813)보다 진짜 MLE에 더 가까운 결과를 제공한다.
• 레일라이히분포의 경우(N=20, r=15), MCEM는 다양한 초기값으로부터 β̂ = 6.132–6.133으로 수렴하였으며, MLE인 6.134에 매우 가까운 결과를 도출하였다.
• MCEM 알고리즘은 빠른 수렴(5–15회 반복)을 보였고, 초기값에 민감하지 않아 결과가 소수점 3자리까지 안정적이었다.
• 역변환 샘플링을 통한 시뮬레이션 기반 E단계는 잘린 데이터의 보간을 정확하게 근사할 수 있었으며, 이는 비지수족 분포에 대해서도 MCEM 접근법의 타당성을 입증한다.