[논문 리뷰] On the EM-Tau algorithm: a new EM-style algorithm with partial E-steps

Val Andrei Fajardo, Jiaxi Liang|arXiv (Cornell University)|2017. 11. 21.

Blind Source Separation Techniques참고 문헌 16인용 수 3

한 줄 요약

이 논문은 멤버십 확률 힙 기반의 동적 임계값 정책을 사용하여 부분 E단계를 수행함으로써 수렴 속도를 향상시키는 새로운 EM 스타일 알고리즘인 EM-Tau를 소개한다. 선택적으로 가장 불확실한 데이터 포인트(멤버십 확률 힙 상위 τ%에 속하는 포인트들)만 재평가함으로써, EM-Tau는 전통적인 EM 대비 최대 60% 빠른 런타임을 달성하면서 분류 오차가 0.2% 미만으로 증가하여 대규모 데이터셋에서 높은 정확도를 유지하면서 계산 비용을 크게 감소시킨다.

ABSTRACT

The EM algorithm is one of many important tools in the field of statistics. While often used for imputing missing data, its widespread applications include other common statistical tasks, such as clustering. In clustering, the EM algorithm assumes a parametric distribution for the clusters, whose parameters are estimated through a novel iterative procedure that is based on the theory of maximum likelihood. However, one major drawback of the EM algorithm, that renders it impractical especially when working with large datasets, is that it often requires several passes of the data before convergence. In this paper, we introduce a new EM-style algorithm that implements a novel policy for performing partial E-steps. We call the new algorithm the EM-Tau algorithm, which can approximate the traditional EM algorithm with high accuracy but with only a fraction of the running time.

연구 동기 및 목표

• 대규모 데이터셋에서 전통적인 EM 알고리즘이 데이터를 여러 번 전체 루프로 순회해야 하는 느린 수렴 문제를 해결하기 위해.
• E단계 계산을 줄임으로써 높은 정확도를 유지하면서 계산적으로 효율적인 EM의 대안을 개발하기 위해.
• 멤버십 확률 힙의 동적 임계값 기반으로 새로운 부분 E단계 정책을 도입하기 위해.
• 클러스터링 작업에서 계산 효율성과 근사 정확도 사이의 상호 교환 관계를 평가하기 위해.

제안 방법

• EM-Tau 알고리즘은 클러스터 간 멤버십 확률 힙에서 가장 높은 값을 가진 데이터 포인트 상위 τ%만 식별하고 재평가함으로써 부분 E단계를 수행한다.
• 각 클러스터에 대해 가장 불확실한 데이터 포인트(높은 사후 확률 값을 가진 포인트들)를 추적하기 위해 힙 구조를 유지한다.
• 알고리즘은 각 반복마다 활성 포인트 집합을 동적으로 갱신하여, 소속이 바뀔 가능성이 있는 포인트들에만 계산을 집중한다.
• M단계는 표준 EM 알고리즘과 동일하게 수행되며, 부분 E단계에서 유도된 활성 포인트들만을 사용하여 파라미터를 갱신한다.
• 임계값 τ는 속도와 정확도 사이의 상호 교환 관계를 제어하며, 높은 τ 값일수록 전체 EM 성능에 가까워진다.
• 이 방법은 EM의 수렴 성질에 이론적으로 기반하며, 저자들은 부분 E단계 정책이 온건한 조건 하에 단조로운 가능도 증가를 유지함을 증명한다.

실험 결과

연구 질문

• RQ1 멤버십 확률의 동적 임계값 정책에 기반한 부분 E단계 정책이 EM 계산 시간을 크게 줄일 수 있을까? 이는 클러스터링 정확도를 희생시키지 않고 가능할까?
• RQ2 임계값 파라미터 τ의 선택이 EM-Tau에서 런타임과 근사 품질 사이의 상호 교환 관계에 어떻게 영향을 미치는가?
• RQ3 부분 E단계를 사용함에도 불구하고 EM-Tau는 표준 EM 알고리즘의 단조로운 가능도 증가 성질을 유지하는가?
• RQ4 실제 클러스터링 작업에서 EM-Tau는 EM*, Sparse EM, Lazy EM과 같은 기존 EM 변종들과 비교해 볼 때 속도와 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 EM-Tau 프레임워크는 재방문 메커니즘 또는 부분 M단계와 같은 추가 가속 기법과 함께 확장될 수 있는가?

주요 결과

• τ = 20일 때, EM-Tau는 전통적인 EM 대비 60%의 속도 향상을 달성하여 런타임을 287.2초에서 117.4초로 감소시켰으며, 분류 오차는 단지 0.0007 증가에 그쳤다.
• τ = 25일 때, EM-Tau는 분류 오차 0.057227을 기록했고, 전통적인 EM의 0.057394와 거의 동일한 정확도를 확보하면서도 계산량을 크게 줄였다.
• EM-Tau(25)는 전통적인 EM의 71회 반복 대비 뿐만 아니라 56회 반복만으로도 수렴하여, 부분 E단계를 사용함에도 불구하고 더 빠른 수렴을 보였다.
• EM* 알고리즘은 실험에서 신뢰할 수 있는 결과를 도출하지 못했으며, 활성 포인트를 지나치게 강하게 잘라내기 때문일 것으로 보이며, 이는 EM-Tau의 더 균형 잡힌 임계값 정책이 유리함을 시사한다.
• K-means 클러스터링은 EM과 EM-Tau보다 훨씬 낮은 정확도(분류 오차 0.147184)를 보였으며, 이는 확률적 모델링의 가치를 다시 한번 입증한다.
• 혼동 행렬을 통해 EM-Tau(25)가 전통적인 EM의 성능을 거의 완벽하게 근사하고 있음을 확인했으며, 모든 클러스터에서 최소한의 오분류가 발생했다.