[論文レビュー] The Dynamic ECME Algorithm

Yunxiao He, Chuanhai Liu|arXiv (Cornell University)|Apr 4, 2010

Advanced Multi-Objective Optimization Algorithms参考文献 58被引用数 6

ひとこと要約

本稿では、動的ECME（DECME）アルゴリズムを提案する。これはEMアルゴリズムの高速化手法であり、収束速度を向上させるために、加速部分空間を動的に選択する。SOR（Successive Overrelaxation）を特別なケースとして再定式化し、DECME_v1を導入することで、共役方向法に類似した収束を達成し、EMに比べて反復回数を最大100倍、CPU時間も最大30倍短縮する。

ABSTRACT

The ECME algorithm has proven to be an effective way of accelerating the EM algorithm for many problems. Recognising the limitation of using prefixed acceleration subspace in ECME, we propose the new Dynamic ECME (DECME) algorithm which allows the acceleration subspace to be chosen dynamically. Our investigation of an inefficient special case of DECME, the classical Successive Overrelaxation (SOR) method, leads to an efficient, simple, and widely applicable DECME implementation, called DECME_v1. The fast convergence of DECME_v1 is established by the theoretical result that, in a small neighbourhood of the maximum likelihood estimate (MLE), DECME_v1 is equivalent to a conjugate direction method. Numerical results show that DECME_v1 and its two variants are very stable and often converge faster than EM by a factor of one hundred in terms of number of iterations and a factor of thirty in terms of CPU time when EM is very slow.

研究の動機と目的

• ECMEにおける固定された加速部分空間の限界を解消し、実用的においても劣った収束を回避すること。
• EM反復の過程で加速部分空間を動的に適応させることで、収束が最も遅い方向にうまく一致する動的フレームワークの開発。
• 勾配計算を避けることにより、従来の共役方向法とは異なり、シンプルで安定的かつ広く適用可能なDECMEの実装の構築。
• 反復回数およびCPU時間の両面で、EM、ECME、SORに比べ顕著な高速化を実証すること。

提案手法

• 現在のパラメータ推定値と収束行動に基づいて、加速部分空間を動的に選択する汎用的な動的ECME（DECME）アルゴリズムを提案する。
• SORをDECMEの特別なケースとして再定式化し、収束性と安定性の理論的分析を可能にする。
• 標準的な正則性条件の下で、最尤推定量（MLE）の近傍で共役方向法に類似した収束を達成する実用的実装であるDECME_v1を導入する。
• 収束を保証しながらも、単純さと安定性を維持するため、探索方向に沿ったラインサーチスキームを採用する。
• 関数評価回数を削減することで計算効率を向上させるために、DECME_v2およびDECME_v3という変種を設計する。
• 制約（例えば正定値性、単体制約）を満たすための可能な領域の計算を用い、制約付きパrameter空間におけるラインサーチを導く。

実験結果

リサーチクエスチョン

• RQ1 ECMEにおける加速部分空間の動的選択は、固定部分空間ECMEに比べて収束を速くできるか？
• RQ2 提案されたDECME_v1の実装は、EM、ECME、SORに比べて収束速度と計算コストの点でどのように異なるか？
• RQ3 DECME_v1は、MLEの近傍で共役方向法と理論的に同等か？
• RQ4 勾配計算なしにDECMEを実装できるか？これにより、より広範な適用可能性が得られるか？
• RQ5 ラインサーチの精度と可能な領域の計算は、DECMEの効率性と安定性にどのような影響を与えるか？

主な発見

• EMが収束が遅い状況では、DECME_v1が反復回数でEMに比べ最大100倍速い収束を達成する。
• 収束が遅い状況では、DECME_v1がCPU時間をEMに比べ最大30倍短縮する。
• DECME_v1はMLEの近傍で共役方向法と理論的に同等であり、高速収束の理由を説明できる。
• 明示的な勾配計算を避けることで、AEMに比べて実装が容易でありながら、同程度の効率的向上を達成する。
• DECME_v2およびDECME_v3は、収束速度を損なわずに関数評価回数を削減し、計算効率を向上させる。
• ラインサーチは、可能な領域の制約と標準的なR関数を用いて効率的に実装され、精度と速度のバランスを取るために許容誤差を0.01に設定している。