[논문 리뷰] Neural Clustering Processes

Ari Pakman, Yueqi Wang외 3명|arXiv (Cornell University)|2018. 12. 28.

Neural Networks and Applications참고 문헌 86인용 수 6

한 줄 요약

이 논문은 혼합 모델에서 이산 잠재 변수에 대한 빠른, 암시적 사후 추론을 가능하게 하는 딥러닝 프레임워크인 신경 클러스터링 프로세스(Neural Clustering Processes, NCP)를 소개한다. 생성 모델에서 유사한 레이블이 부여된 데이터를 기반으로 신경망을 훈련시킴으로써, NCP는 새로운 데이터셋에 대해 O(N) 또는 O(K)의 정방향 전파만으로 클러스터 할당의 근사 사후 표본을 생성한다. 이는 비모수 베이지안 모델을 지원하며, 스팘이크 소팅 및 입자 추적 응용 분야에서 MCMC 및 변분 방법보다 빠르고 정확한 성능을 보인다.

ABSTRACT

Probabilistic clustering models (or equivalently, mixture models) are basic building blocks in countless statistical models and involve latent random variables over discrete spaces. For these models, posterior inference methods can be inaccurate and/or very slow. In this work we introduce deep network architectures trained with labeled samples from any generative model of clustered datasets. At test time, the networks generate approximate posterior samples of cluster labels for any new dataset of arbitrary size. We develop two complementary approaches to this task, requiring either O(N) or O(K) network forward passes per dataset, where N is the dataset size and K the number of clusters. Unlike previous approaches, our methods sample the labels of all the data points from a well-defined posterior, and can learn nonparametric Bayesian posteriors since they do not limit the number of mixture components. As a scientific application, we present a novel approach to neural spike sorting for high-density multielectrode arrays.

연구 동기 및 목표

• 확장 가능한, 암시적 추론 방법을 개발하여 확률적 클러스터링 모델의 이산 잠재 변수에 대해 적용한다.
• 느린 수렴 속도를 가지는 MCMC의 문제를 피하기 위해, 정의된 불확실성을 갖는 임의의 크기의 데이터셋에 대해 사후 표본 추출을 가능하게 한다.
• 미리 클러스터 수를 고정하지 않고도 디리클레 과정 혼합 모델과 같은 비모수 베이지안 모델을 지원한다.
• 실제 과학적 문제, 예를 들어 신경 스파이크 소팅 및 입자 추적에 이 방법을 적용한다.
• 순차적인 MCMC 방법과 달리, 병렬화 가능한 정방향 전파를 통해 고속 추론을 달성한다.

제안 방법

• 혼합 사후 분포의 두 가지 상호보완적 확장 방식을 사용한다: 하나는 충분통계량 기반이고, 다른 하나는 클러스터 할당에 대한 조건부 요인들의 곱 기반이다.
• 신경망은 이산 클러스터 레이블의 대칭성을 고려하기 위해 순열에 불변하는 분포 표현을 사용하여 조건부 요인을 매개변수화한다.
• 네트워크 아키텍처는 클러스터 통계량과 할당 확률을 계산하기 위해 학습 가능한 함수 h(x), u(x), g(H), f(G,U)를 활용한다.
• 입자 추적에서는 시간 감쇠 메커니즘을 사용하여 과거 및 미래 관측치에 가중치를 두어 동적 클러스터 추적을 가능하게 한다.
• 훈련은 Adam을 사용한 확률적 경사 하강법를 통해 수행되며, 생성 모델에서 유래한 레이블이 부여된 데이터를 사용하여 네트워크 파라미터를 최적화한다.
• 테스트 시점의 추론은 데이터셋당 O(N) 또는 O(K)의 정방향 전파만 필요하여, 클러스터 레이블의 빠르고 병렬적인 표본 추출이 가능하다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 혼합 모델의 이산 잠재 변수에 대한 암시적 사후 추론을 수행할 수 있는가?
• RQ2 이 방법은 수와 변동성이 있는 클러스터 수를 가진 비모수 베이지안 모델을 처리할 수 있는가?
• RQ3 MCMC보다 훨씬 빠르면서도 잘 정의된 불확실성을 유지하면서도 높은 정확도의 사후 표본 추출을 달성할 수 있는가?
• RQ4 이 방법은 신경 스파이크 소팅 및 입자 추적과 같은 실제 과학 문제에 적용될 수 있는가?
• RQ5 재훈련 없이도 임의의 크기의 데이터셋에 일반화될 수 있는가?

주요 결과

• NCP는 고밀도 다중전극 어레이에서 스파이크 소팅에 뛰어난 성능을 보였으며, 기준 템플릿 20개 중 13개를 회복했고, Kilosort는 8개, vGMFM는 6개를 회복했다.
• 실제 데이터에서는 NCP와 Kilosort가 수용체 필드를 가진 유닛 수를 유사하게 발견했지만, NCP는 더 작은 피크-투-피크 진폭을 가진 추가 유닛을 탐지했다.
• 입자 추적에서 NCP는 임의의 시간에 나타나거나 사라질 수 있는 입자의 시간적 궤적을 성공적으로 재구성했으며, 모호한 관측 시퀀스에서도 효과적으로 작동했다.
• 이 방법은 데이터셋당 O(N) 또는 O(K)의 정방향 전파만으로도 충분하여, 반복적인 MCMC 표본 추출 없이도 빠르고 병렬적인 추론이 가능했다.
• NCP는 공액 및 비공액 모델 모두에서 강건성을 보였으며, 사전에 혼합 성분의 수를 고정하지 않고도 사후 분포를 학습할 수 있었다.
• 절단 실험에서 시간 감쇠 메커니즘이 시간적 근접도를 가중치로 고려함으로써 추적 정확도를 향상시켰으며, 특히 노이즈가 많거나 관측치가 흐린 상황에서 유의미한 개선을 보였다.