[논문 리뷰] Sinkhorn EM: An Expectation-Maximization algorithm based on entropic optimal transport

Gonzalo E. Mena, Amin Nejatbakhsh외 2명|arXiv (Cornell University)|2020. 06. 30.

Bayesian Modeling and Causal Inference참고 문헌 26인용 수 7

한 줄 요약

이 논문은 알려진 혼합 비율을 통합하는 데 있어 표준 책임 할당 대신 엔트로픽 최적 운반을 사용하는 새로운 기하 평균 혼합 모델을 위한 기하 평균 알고리즘인 Sinkhorn EM(sEM)을 소개한다. Sinkhorn 알고리즘을 활용해 효율적인 계산을 구현함으로써 sEM은 더 나은 전역 수렴성, 국소 최적해에 대한 민감도 감소, 그리고 인공 데이터와 C. elegans 신경세포 분할 작업 모두에서 기존의 기하 평균 및 과다 매개변수화된 기하 평균보다 뛰어난 성능을 달성한다.

ABSTRACT

We study Sinkhorn EM (sEM), a variant of the expectation maximization (EM) algorithm for mixtures based on entropic optimal transport. sEM differs from the classic EM algorithm in the way responsibilities are computed during the expectation step: rather than assign data points to clusters independently, sEM uses optimal transport to compute responsibilities by incorporating prior information about mixing weights. Like EM, sEM has a natural interpretation as a coordinate ascent procedure, which iteratively constructs and optimizes a lower bound on the log-likelihood. However, we show theoretically and empirically that sEM has better behavior than EM: it possesses better global convergence guarantees and is less prone to getting stuck in bad local optima. We complement these findings with experiments on simulated data as well as in an inference task involving C. elegans neurons and show that sEM learns cell labels significantly better than other approaches.

연구 동기 및 목표

• 혼합 비율에 대한 사전 지식이 있을 때 표준 기하 평균의 열악한 수렴 행동을 해결한다.
• 사전 비율을 忽시하고 느리게 수렴하는 과다 매개변수화된 기하 평균의 한계를 극복한다.
• 이론적으로 타당하고 계산적으로 효율적인 기하 평균 변종을 개발하여 사전 혼합 비율을 자연스럽게 통합한다.
• 특히 세포 레이블 복원에 있어 인공 혼합 데이터와 실제 신경영상 데이터 모두에서 클러스터링 성능을 향상시킨다.

제안 방법

• 표준 기하 평균의 로그우도 목적함수를 알려진 구성 요소 비율을 유지하는 엔트로픽 최적 운반(OT)-기반 손실 함수로 대체한다.
• 알려진 혼합 비율을 고려한 책임을 계산하기 위해 Sinkhorn 알고리즘을 사용하여 데이터 포인트 간 일관된 할당을 보장한다.
• sEM을 기하 평균과 유사한 하한에 대한 좌표 상승 절차로 프레임워크화하지만, 엔트로픽 정규화 덕분에 최적점 주변의 곡률이 향상되어 수렴성이 향상된다.
• 기하 평균의 E단계/M단계 구조를 유지하되, 독립적인 사후 확률 계산 대신 엔트로픽 OT 문제를 풀도록 E단계를 수정한다.
• 운반 계획에 사전 지식을 직접 통합하여 재가중 또는 히우리스틱 조정이 필요 없도록 한다.
• Sinkhorn 알고리즘을 통해 효율적인 최적화를 가능하게 하여 고차원 데이터에서도 잘 스케일링되고 매우 신속하게 수렴한다.

실험 결과

연구 질문

• RQ1 알려진 구성 요소 비율이 있는 혼합 모델에서 엔트로픽 최적 운반을 사용해 기하 평균의 수렴성과 안정성을 향상시킬 수 있는가?
• RQ2 sEM은 기하 평균 및 과다 매개변수화된 기하 평균과 비교해 수렴 속도와 전역 최적화 성능에서 어떻게 다른가?
• RQ3 OT를 통해 혼합 비율에 대한 사전 지식을 도입함으로써 실제 신경영상 데이터에서 더 높은 클러스터링 정확도를 달성할 수 있는가?
• RQ4 특히 이원 정규 혼합 모델 설정에서 sEM의 이론적 수렴 보장 조건은 표준 기하 평균과 비교해 어떻게 다른가?
• RQ5 C. elegans 신경세포 분할 작업에서 sEM은 기존 방법보다 세포 정체성을 더 잘 복원할 수 있는가?

주요 결과

• sEM은 기하 평균보다 더 나은 전역 수렴을 달성하여 열악한 국소 최적해에 갇힐 가능성이 크게 감소한다.
• 이원 정규 혼합 모델의 시뮬레이션 결과에서 sEM은 기하 평균 및 과다 매개변수화된 기하 평균보다 더 신속하고 안정적으로 수렴한다.
• C. elegans 신경세포 분할 작업에서 sEM은 기하 평균 및 과다 매개변수화된 기하 평균보다 유의미하게 높은 분할 정확도와 낮은 평균제곱오차를 달성한다.
• sEM은 더 높은 테스트 로그우도를 유지하면서도 후행 추론 품질을 향상시켜 더 나은 일반화 능력을 보여준다.
• 시각적 결과는 sEM이 여러 랜덤 초기화 설정에서 더 정확하고 일관성 있는 신경세포 분할 결과를 생성함을 보여준다.
• 엔트로픽 OT의 사용은 목적함수의 곡률을 향상시켜, 동일한 전역 최적해를 가진다 하더라도 실질적으로 더 빠른 수렴을 이끌어낸다.