[論文レビュー] Multi-Node EM Algorithm for Finite Mixture Models

Sharon Lee, Geoffrey J. McLachlan+1 more|arXiv (Cornell University)|May 14, 2020

Algorithms and Data Compression参考文献 23被引用数 4

ひとこと要約

本稿では、有限混合モデルに対するマルチノードEMアルゴリズムを提案し、単一マシンおよび小規模なマルチノードクラスタ上で効率的な並列処理を可能にする。Eステップを観測値と成分に、Mステップを混合成分にわたって分散することで、計算時間の大幅な短縮が達成され、18スレッドで最大79％の短縮が実現された。これは、大規模な混合モデル適合において、RがMATLABよりも優れたパフォーマンスを示すことを示している。

ABSTRACT

Finite mixture models are powerful tools for modelling and analyzing heterogeneous data. Parameter estimation is typically carried out using maximum likelihood estimation via the Expectation-Maximization (EM) algorithm. Recently, the adoption of flexible distributions as component densities has become increasingly popular. Often, the EM algorithm for these models involves complicated expressions that are time-consuming to evaluate numerically. In this paper, we describe a parallel implementation of the EM-algorithm suitable for both single-threaded and multi-threaded processors and for both single machine and multiple-node systems. Numerical experiments are performed to demonstrate the potential performance gain n different settings. Comparison is also made across two commonly used platforms - R and MATLAB. For illustration, a fairly general mixture model is used in the comparison.

研究の動機と目的

• スケュー・t分布などの柔軟で正規分布でない成分密度をもつ有限混合モデルの適合における計算ボトルネックを解消すること。
• 単一マシンおよび小規模なマルチノードコンピューティング環境に適したスケーラブルで並列処理可能なEMアルゴリズムを開発すること。
• RとMATLABプラットフォーム間での並列EMアルゴリズムの速度および安定性を比較すること。
• スレッド数およびネットワークアーキテクチャが、計算負荷の高い混合モデルの実行時間効率に与える影響を評価すること。

提案手法

• Eステップは、1つのスレッドを1つの観測値-成分ペアに割り当てることで並列化され、事後確率の独立的計算が可能になる。
• Mステップは、g個のスレッドを用い、1つの混合成分ごとにパラメータ更新計算を分散することで並列化される。
• 同一のハードウェアとデータ上でクロスプラットフォームのパフォーマンスベンチマークを可能にするために、RおよびMATLABの両方で実装されている。
• メッセージパッシングを用いたノード間通信により、単一コアおよびマルチコアシステム、および小規模なローカルネットワーク上のマシン群をサポートする。
• 数値的評価の対象モデルとして、標準的基礎スケュー・t（CFUST）分布の有限混合が使用されている。
• 100回の試行において、スレッド数（m=1から20）を変化させながら、オーストラリア・インスティテュート・オブ・スポーツ（AIS）データセットを用いて性能を評価している。

実験結果

リサーチクエスチョン

• RQ1 複雑な成分密度をもつ有限混合モデルに対して、マルチノードEMアルゴリズムは計算時間をどのように改善するか？
• RQ2 異なるスレッド数において、RとMATLABの両方で並列EMアルゴリズムを実装した際の相対的パフォーマンスはいかがなっているか？
• RQ3 スレッド数の増加がスピードアップに与える影響は何か？また、限界効果やオーバーヘッドが現れるポイントはどこか？
• RQ4 マルチノードクラスタ環境において、このアルゴリズムの有効性はどの程度か？ネットワーク通信のオーバーヘッドがスケーラビリティを制限するか？

主な発見

• Rの実装では、11スレッドで最大76.97％の時間短縮、12スレッドで76.44％の短縮が達成され、中程度のスレッド数でも顕著な性能向上が得られた。
• MATLABは初期段階でRより遅いパフォーマンスを示したが、m ≥ 15で逆転し、20スレッドでピークの80.41％の時間短縮を達成した。
• 計算時間の標準偏差は、MATLABの方がRよりも常に低く、特に高スレッド数での試行においてより安定したパフォーマンスを示した。
• 3台のマシンを用いたマルチノード環境では、平均して4.5％の時間短縮にとどまり、ネットワークオーバーヘッドが小規模なデータセットでは利得を制限していることが示された。
• Rのパフォーマンストレンドでは、m=12で計算時間がわずかに増加しており、スレッド管理のオーバーヘッドが原因とされる。一方、MATLABはスレッド数の増加に伴い、計算時間が一貫して減少を示した。
• マルチノードEMアルゴリズムは単一マシン上で顕著なスケーラビリティを示し、両プラットフォームとも中程度のスレッド数で75％以上の時間短縮を達成した。これは、大規模な混合モデル解析に有効であることを確認している。