[論文レビュー] Parameter Estimation from Censored Samples using the Expectation-Maximization Algorithm

Chanseok Park, Seong Beom Lee|arXiv (Cornell University)|Mar 17, 2012

Statistical Distribution Estimation and Applications参考文献 14被引用数 3

ひとこと要約

本稿では、右打ち切りデータからの最尤推定に、期待値最大化（EM）およびモンテカルロEM（MCEM）アルゴリズムの使用を提案する。特に正規分布、ラプラス分布、レイリー分布に対して有効である。この手法は、打ち切りによる欠損データを繰り返し補完し、パラメータを更新することで、初期値に依存せず、正確で安定した推定値をMLESに収束させる。

ABSTRACT

This paper deals with parameter estimation when the data are randomly right censored. The maximum likelihood estimates from censored samples are obtained by using the expectation-maximization (EM) and Monte Carlo EM (MCEM) algorithms. We introduce the concept of the EM and MCEM algorithms and develop parameter estimation methods for a variety of distributions such as normal, Laplace and Rayleigh distributions. These proposed methods are illustrated with three examples.

研究の動機と目的

• 初期値に敏感な場合や尤度関数が平坦な場合に生じる標準的数値最適化の失敗に起因する、打ち切り寿命データにおけるパrameter推定の課題に対処する。
• 特定の打ち切りタイプに限定され、真のMLESに収束しない、最良線形不偏推定量（BLUE）や近似MLESといった従来手法の制限を克服する。
• タイプI（ランダム含む）およびタイプII打ち切りに対応する、正規分布、ラプラス分布、レイリー分布など複数の分布に一般化可能なEMおよびMCEMアルゴリズムのフレームワークを構築する。
• 異なる初期値や分布仮定下でも、提案手法のロバスト性および収束性を示す。
• 特に複雑または高次元のモデルにおいて、直接尤度最大化を行う代替手段として、計算的に実行可能で正確な代替手法を提供する。

提案手法

• 打ち切りの有無を示す(w_i, δ_i)表現を用いて、右打ち切り標本の観測済み尤度を定式化する。ここでw_i = min(x_i, R_i)であり、δ_iは打切りより前に故障が発生したかどうかを示す。
• 打ち切り観測値を欠損データとみなしてEMアルゴリズムを適用し、繰り返し完全データの対数尤度の期待値を計算し、それを最大化することでパラメータ推定値を更新する。
• 正規分布やラプラス分布のようにEステップで扱いにくい積分を含む分布に対しては、モンテカルロサンプリングを用いて期待値ステップを近似するMCEMの変種を適用する。
• 打ち切り値の生成を可能にするために、正規分布およびラプラス分布の切り捨て分布に対して、逆変換サンプリングを用いたシミュレーションベースのEステップを実装する。
• 反復的更新を実施する：正規分布では、条件付き期待値に基づき平均および分散を更新する。ラプラス分布では、経験的モーメントを用いて位置およびスケールを更新する。レイリー分布では、重要度サンプリングを用いたMCEMによりスケールパラメータを更新する。
• 対数尤度とパラメータの安定性を繰り返し監視することで収束を保証し、EMでは10〜15回、MCEMでは5〜10回の反復で収束を達成する。

実験結果

リサーチクエスチョン

• RQ1 直接最適化が初期値が悪い、または尤度関数が平坦な場合に失敗する状況において、EMおよびMCEMアルゴリズムが一貫性があり正確な最尤推定値を提供できるか。
• RQ2 タイプIおよびタイプII打ち切り標本において、EM/MCEMの性能は、BLUEや近似MLESといった従来手法と比較して収束性および正確性において優れているか。
• RQ3 MCEMアルゴリズムは、正規分布、ラプラス分布、レイリー分布といった異なる分布において、初期パラメータ値の選択に対してどれほどロバストであるか。
• RQ4 Eステップにおける扱いにくい積分をモンテカルロ近似により処理できるか。
• RQ5 さまざまなパラメトリック分布からの打ち切りデータに対して、EMおよびMCEMの収束性および計算効率はいかがなっているか。

主な発見

• EMおよびMCEMアルゴリズムは、打ち切りのある正規分布、ラプラス分布、レイリー分布のパラメータを、初期値に依存せず高い正確性で推定し、MLESに収束する。
• 打ち切り正規分布（N=10, r=7）の例では、EM/MCEMによるMLESはμ̂ = 1.742およびσ̂ = 0.079を算出し、Gupta（1952）が報告した誤ったMLESを是正した。
• ラプラス分布の例（N=20, r=18）では、MCEMがμ̂ = 49.766およびσ̂ = 4.688を算出し、BLUE（μ̂ = 49.561, σ̂ = 4.813）よりも真のMLESに近い結果を得た。
• レイリー分布（N=20, r=15）では、異なる初期値からMCEMがβ̂ = 6.132–6.133に収束し、MLESの6.134に非常に近い結果を得た。
• MCEMアルゴリズムは高速な収束（5〜15回の反復）を示し、初期値に敏感ではなく、結果は小数点以下3位まで安定していた。
• 逆変換サンプリングを用いたシミュレーションベースのEステップにより、非指数型分布族に対しても、打ち切りデータの補完を正確に近似可能であり、MCEM手法の有効性が裏付けられた。