[논문 리뷰] Multi-Node EM Algorithm for Finite Mixture Models

Sharon Lee, Geoffrey J. McLachlan외 1명|arXiv (Cornell University)|2020. 05. 14.

Algorithms and Data Compression참고 문헌 23인용 수 4

한 줄 요약

이 논문은 유한 혼합 모델에 대해 단일 머신과 소규모 다중 노드 클러스터에서 효율적인 병렬 처리를 가능하게 하는 다중 노드 EM 알고리즘을 제안한다. 관측치와 구성요소 간의 E-단계를 분산하고, 혼합 구성요소 간의 M-단계를 분산시킴으로써, 최대 18개 스레드에서 계산 시간을 79% 감소시키는 상당한 성능 향상을 달성하였으며, 대규모 혼합 모델 피팅에서 R 대비 MATLAB의 성능이 뛰어나다는 것을 입증한다.

ABSTRACT

Finite mixture models are powerful tools for modelling and analyzing heterogeneous data. Parameter estimation is typically carried out using maximum likelihood estimation via the Expectation-Maximization (EM) algorithm. Recently, the adoption of flexible distributions as component densities has become increasingly popular. Often, the EM algorithm for these models involves complicated expressions that are time-consuming to evaluate numerically. In this paper, we describe a parallel implementation of the EM-algorithm suitable for both single-threaded and multi-threaded processors and for both single machine and multiple-node systems. Numerical experiments are performed to demonstrate the potential performance gain n different settings. Comparison is also made across two commonly used platforms - R and MATLAB. For illustration, a fairly general mixture model is used in the comparison.

연구 동기 및 목표

• 비정규 분포를 포함한 유연한 구성요소 밀도(예: 비대칭 t 분포)를 갖는 유한 혼합 모델 피팅 시 발생하는 계산 병목 현상을 해결하기 위해.
• 단일 머신 및 소규모 다중 노드 컴퓨팅 환경에 모두 적합한 확장성 있는 병렬 EM 알고리즘 개발을 위해.
• R 및 MATLAB 플랫폼 간의 병렬 EM 알고리즘 성능을 속도 및 안정성 측면에서 비교하기 위해.
• 스레드 수와 네트워크 아키텍처가 계산 집약적인 혼합 모델의 런타임 효율성에 미치는 영향을 평가하기 위해.

제안 방법

• E-단계는 관측치-구성요소 쌍마다 하나의 스레드를 할당하여 후행 확률의 독립적 계산을 가능하게 하여 병렬화된다.
• M-단계는 혼합 구성요소 각각에 대해 하나의 스레드를 할당하여 매개변수 갱신 계산을 분산시킨다.
• 동일한 하드웨어와 데이터에서 플랫폼 간 성능 벤치마킹을 가능하게 하기 위해 R 및 MATLAB 모두에 구현된다.
• 메시지 전달을 통한 노드 간 통신을 사용하여 단일 코어 및 다중 코어 시스템, 그리고 국소 네트워크 기반의 소규모 머신 클러스터 모두를 지원한다.
• 수치적 평가의 대상 모델로 캐논리컬 기본 비대칭 t(CFUST) 분포의 유한 혼합 모델을 사용한다.
• 성능 평가는 스레드 수를 다양하게 조절한 100회의 시험(스레드 수 m=1에서 20까지)을 통해 AIS(Australian Institute of Sport) 데이터셋을 기반으로 수행된다.

실험 결과

연구 질문

• RQ1 복잡한 구성요소 밀도를 갖는 유한 혼합 모델에 대해 다중 노드 EM 알고리즘이 계산 시간을 얼마나 향상시키는가?
• RQ2 다양한 스레드 수에서 R 대비 MATLAB의 병렬 EM 알고리즘 구현 성능는 어떻게 비교되는가?
• RQ3 스레드 수가 성능 향상에 미치는 영향는 어떠한가? 그리고 성과 감소 또는 오버헤드가 발생하는 시점은 언제인가?
• RQ4 다중 노드 클러스터 환경에서 이 알고리즘의 효과는 어떠한가? 네트워크 통신 오버헤드가 확장성에 제한을 둔다 할 수 있는가?

주요 결과

• R 구현은 11개 스레드에서 최대 76.97%의 시간 감소를 기록했고, 12개 스레드에서는 76.44%를 기록하여 중간 수준의 스레드 수에서도 뚜렷한 성능 향상을 보였다.
• MATLAB는 초기 성능가 R보다 느렸지만, m ≥ 15에서 뒤집어져 20개 스레드에서 최고 80.41%의 시간 감소를 기록했다.
• 계산 시간의 표준편차는 MATLAB에서 R보다 항상 낮게 유지되었으며, 특히 높은 스레드 수에서 더 안정적인 성능을 보였다.
• 3台의 머신으로 구성된 다중 노드 환경에서는 평균적으로 단지 4.5%의 시간 감소만 관찰되어, 소규모 데이터셋에서는 네트워크 오버헤드가 성능 향상에 제한을 둔다는 것을 시사한다.
• R의 성능 추세는 m=12에서 계산 시간이 약간 증가하는 경향을 보였는데, 이는 스레드 관리 오버헤드 때문일 가능성이 높다. 반면 MATLAB는 스레드 수 증가에 따라 시간이 일관되게 감소하는 경향을 보였다.
• 다중 노드 EM 알고리즘은 단일 머신 환경에서 뚜렷한 확장성을 보였으며, 두 플랫폼 모두 중간 수준의 스레드 수에서 75% 이상의 시간 감소를 달성하여 대규모 혼합 모델링에 실용적임을 확인했다.