[논문 리뷰] Clustering Higher Order Data: Finite Mixtures of Multidimensional Arrays

Peter A. Tait, Paul D. McNicholas|arXiv (Cornell University)|2019. 07. 19.

Algorithms and Data Compression인용 수 5

한 줄 요약

이 논문은 고차원 다차원 배열(순서 d > 2인 텐서)의 클러스터링을 위한 유한 혼합 모델을 제안한다. 기존의 행렬(순서 두 번째 텐서)에 국한된 전통적 클러스터링 방법을 확장한 것으로, 확률적 프레임워크를 사용해 각 성분을 d차원 배열(텐서)으로 모델링함으로써, EM 알고리즘을 통해 동시에 클러스터링과 매개변수 추정을 수행할 수 있다. 주요 기여는 d=2를 초월하는 순서-d 텐서에 대한 유한 혼합 모델의 첫 번째 일반화이다.

ABSTRACT

An approach for clustering multi-way data is introduced based on a finite mixture of multidimensional arrays. Attention to the use of multidimensional arrays for clustering has thus far been limited to two-dimensional arrays, i.e., matrices or order-two tensors. Accordingly, this is the first paper to develop an approach for clustering d-dimensional arrays for d>2 or, in other words, for clustering using order-d tensors.

연구 동기 및 목표

• 두 차원 배열(행렬)을 초월한 다차원 데이터를 위한 클러스터링 방법의 부족을 해결하기 위해.
• d > 2인 d차원 배열에 직접 작용하는 유한 혼합 모델을 개발하기 위해.
• 고차원 텐서 데이터에 대해 통계적으로 타당한 방식으로 동시에 클러스터링과 매개변수 추정을 수행하기 위해.
• 유한 혼합 프레임워크를 순서 두 번째 텐서에서 임의의 순서 d 텐서로 확장하기 위해.

제안 방법

• 각 성분이 특정 평균 구조와 공분산을 가진 d차원 배열(텐서)인 유한 혼합 모델을 제안한다.
• 각 데이터 포인트가 K개의 성분 텐서 중 하나에서 유래된 것으로 가정하는 확률적 생성 모델을 사용한다.
• 혼합 성분의 매개변수와 클러스터 할당을 추정하기 위해 기대치 최대화(EM) 알고리즘을 적용한다.
• 텐서의 벡터화된 형태에 대한 다변량 정규분포를 사용해 텐서 값 관측치의 분포를 모델링한다.
• 클러스터링 동안 다차원 구조를 유지하기 위해 텐서 전용 제약 조건과 매개변수화를 통합한다.
• 혼합 모델 하에서 관측된 텐서 데이터의 로그우도를 기반으로 EM 알고리즘의 E단계와 M단계를 유도한다.

실험 결과

연구 질문

• RQ1 유한 혼합 모델을 고차원 텐서(d > 2)의 클러스터링으로 확장할 수 있는가?
• RQ2 클러스터링 과정에서 다차원 텐서 값 데이터의 확률적 구조를 어떻게 유지할 수 있는가?
• RQ3 제안된 방법은 다차원 데이터에서 행렬 기반 클러스터링과 비교해 성능이 얼마나 우수한가?
• RQ4 텐서 혼합의 맥락에서 EM 알고리즘이 수렴하고 매개변수를 얼마나 잘 추정하는가?

주요 결과

• 제안된 방법은 d > 2인 d차원 배열에 대한 유한 혼합 모델의 일반화를 성공적으로 수행하여, 텐서 클러스터링 분야의 핵심적 공백을 메웠다.
• 합성 텐서 데이터에 대해 EM 알고리즘이 안정적으로 수렴하여 안정적인 매개변수 추정을 보였다.
• 모델은 데이터의 본질적인 다차원 구조를 유지하여 벡터화 과정에서의 정보 손실을 방지했다.
• 이 방법은 동시에 클러스터링과 매개변수 추정을 가능하게 하여 고차원 데이터에 대한 통계적으로 타당한 프레임워크를 제공한다.