[논문 리뷰] Jointly Modeling and Clustering Tensors in High Dimensions

Biao Cai, Jingfei Zhang외 1명|arXiv (Cornell University)|2021. 04. 15.

Tensor decomposition and applications참고 문헌 61인용 수 5

한 줄 요약

이 논문은 저랭크 평균과 분리 가능하며 조건부 희소성 있는 공분산 구조를 활용하여 고차원 텐서 데이터를 함께 모델링하고 군집화하기 위한 이질적 공분산을 가진 고차원 텐서 혼합 모델을 제안한다. 이는 기하 수렴 속도에 도달하는 효율적이고 볼록적이며 닫힌 형태의 HECM 알고리즘을 도입하여, 합성 데이터와 fMRI 데이터에서 벤치마크를 능가하는 군집 정확도를 달성한다.

ABSTRACT

We consider the problem of jointly modeling and clustering populations of tensors by introducing a high-dimensional tensor mixture model with heterogeneous covariances. To effectively tackle the high dimensionality of tensor objects, we employ plausible dimension reduction assumptions that exploit the intrinsic structures of tensors such as low-rankness in the mean and separability in the covariance. In estimation, we develop an efficient high-dimensional expectation-conditional-maximization (HECM) algorithm that breaks the intractable optimization in the M-step into a sequence of much simpler conditional optimization problems, each of which is convex, admits regularization and has closed-form updating formulas. Our theoretical analysis is challenged by both the non-convexity in the EM-type estimation and having access to only the solutions of conditional maximizations in the M-step, leading to the notion of dual non-convexity. We demonstrate that the proposed HECM algorithm, with an appropriate initialization, converges geometrically to a neighborhood that is within statistical precision of the true parameter. The efficacy of our proposed method is demonstrated through comparative numerical experiments and an application to a medical study, where our proposal achieves an improved clustering accuracy over existing benchmarking methods.

연구 동기 및 목표

• 고차원 텐서 데이터를 군집화하면서 고유한 텐서 구조를 유지하는 데 도전하는 데에 대비하기 위해.
• 동질성에 대한 제약 조건을 완화함으로써 이질적 공분산 구조를 가진 텐서 집단을 함께 모델링하고 군집화하는 데에.
• 고차원 텐서 혼합 모델에 대해 계산적으로 효율적이고 통계적으로 타당한 추정 방법을 개발하는 데에.
• 평균과 공분산에 대한 구조적 차원 축소 가정을 통해 모델의 해석 가능성을 보장하는 데에.
• 자폐 스펙트럼 장애 연구에서의 실제 fMRI 데이터와 합성 데이터 모두에서 뛰어난 군집 성능을 입증하는 데에.

제안 방법

• 텐서 데이터의 인구 이질성을 포착하기 위해 이질적 공분산을 가진 고차원 텐서 혼합 모델을 도입한다.
• 차원을 줄이고 해석 가능성을 향상시키기 위해 텐서 평균에 대해 저랭크 및 내부 희소성 구조를 도입한다.
• 복잡한 의존성을 모델링하면서도 계산 가능성을 유지하기 위해 분리 가능하고 조건부 희소성 있는 공분산 구조를 가정한다.
• EM 알고리즘의 비가역적인 M단계를 볼록적이고 정규화된 닫힌 형태의 최적화 문제의 시퀀스로 재구성함으로써 HECM 알고리즘을 개발한다.
• 적절한 초기화 하에서 기하 수렴을 보장하기 위해 이중 비볼록성 분석을 활용한다.
• 고차원 환경에서의 확장 가능하고 안정적인 추론을 가능하게 하기 위해 텐서 분해와 조건부 최대화를 활용한다.

Figure 1: Tensor fibers, unfolding and vectorization.

실험 결과

연구 질문

• RQ1 이질적 공분산을 가진 텐서 혼합 모델이 고차원 텐서 데이터의 인구 이질성을 효과적으로 포착할 수 있는가?
• RQ2 저랭크 및 구조화된 공분산 가정은 텐서 군집화에서 추정 효율성과 해석 가능성에 어떻게 기여하는가?
• RQ3 M단계가 고차원 텐서 모델에서 비가역적일 경우, 어떤 알고리즘 프레임워크가 안정적이고 효율적인 추정을 가능하게 하는가?
• RQ4 EM 유형 절차에서의 비볼록성에도 불구하고, 제안된 HECM 알고리즘이 기하 수렴을 얼마나 잘 달성하는가?
• RQ5 기존의 벤치마크와 비교해 실제 fMRI 데이터에서의 군집 정확도는 어떻게 되는가?

주요 결과

• 적절한 초기화 하에서 HECM 알고리즘은 진짜 매개변수의 통계 정밀도 이내의 이웃으로 기하 수렴한다.
• 합성 데이터와 실제 fMRI 데이터 모두에서 DEEM 및 벡터 기반 군집화와 같은 기존의 벤치마크 방법에 비해 뚜렷이 향상된 군집 정확도를 달성한다.
• 57명의 피험자와 116×116×30 크기의 텐서를 가진 fMRI 데이터에서, 제안된 방법은 자폐 스펙트럼 장애(ASD) 및 정상 대조군 간의 명확한 뇌 기능 연결 패턴을 성공적으로 식별하였다.
• 모델은 ASD 환자에서 시간에 따라 더 덜 동적인, 더 덜 연결된 뇌 네트워크를 보여주며, 기존의 신경영상 연구 결과와 일치한다.
• 수치적 안정성과 강인함을 입증하였으며, 시뮬레이션에서 모델 잘못 설정에 민감하고 불안정한 DEEM보다 뛰어난 성능을 보였다.
• 추정된 뇌 기능 연결 패턴은 뚜렷한 차이를 보였다: 정상 대조군은 연결성이 증가했다가 감소하는 경향을 보였고, ASD 환자는 시간 창에 걸쳐 비교적 안정적이고 낮은 연결성을 유지하였다.

Figure 2: An illustration of rank- $R$ sparse CP decomposition for a third-order tensor.