[논문 리뷰] A Semi-Definite Programming approach to low dimensional embedding for unsupervised clustering

Stéphane Chrétien, Clément Dombry외 1명|arXiv (Cornell University)|2016. 06. 29.

Bayesian Methods and Mixture Models참고 문헌 16인용 수 6

한 줄 요약

이 논문은 가우시안 혼합 모델에서 클러스터 행렬을 추정하기 위해 준정형계획법(SDP)을 제안하며, 스펙트럼 분해를 통해 클러스터 중심의 저차원 임bedding을 가능하게 한다. 이 방법은 쌍별 거리만을 사용하며 고차원성에 대해 강건하며, 농도 불등식과 그로텐디크 부등식을 통해 이론적 보장을 제공하여, 표준 임베딩보다 클러스터링 효율성과 희소성 유지에서 뛰어나다.

ABSTRACT

This paper proposes a variant of the method of Guédon and Verhynin for estimating the cluster matrix in the Mixture of Gaussians framework via Semi-Definite Programming. A clustering oriented embedding is deduced from this estimate. The procedure is suitable for very high dimensional data because it is based on pairwise distances only. Theoretical garantees are provided and an eigenvalue optimisation approach is proposed for computing the embedding. The performance of the method is illustrated via Monte Carlo experiements and comparisons with other embeddings from the literature.

연구 동기 및 목표

• 거리 유지보다 클러스터 간 분리도를 우선시하는 저차원 임베딩 기반의 강건하고 고차원 클러스터링 방법을 개발하기 위해.
• 가우시안 혼합 모델 프레임워크 하에서 1과 0으로 구성된 클러스터 소속을 정의하는 클러스터 행렬을 준정형계획법을 통해 추정하기 위해.
• 농도 불등식과 그로텐디크 부등식을 사용하여 SDP 추정기의 이론적 보장을 제공하기 위해.
• 결과로 도출된 임베딩이 내부 클러스터 포인트를 농도 있게 모으고, 외부 클러스터 포인트를 분리함으로써 클러스터링 성능을 향상시킨다는 것을 입증하기 위해.
• 큰 수의 법칙에 따라 차원이 증가할수록 추정기의 강건성이 향상되어 저차원 변동에 대한 민감도가 감소한다는 것을 보여주기 위해.

제안 방법

• 클러스터 행렬 추정을 준정형계획법(SDP)으로 공식화하여, 클러스터 행렬의 랭크와 희소성의 볼록 완화를 최소화한다.
• 고차원 샘플링 하에서 경험적 유사도 행렬이 기대값에서 벗어나지 않도록 보장하기 위해 가우시안 농도 불등식을 활용한다.
• 추정된 행렬이 정반정형이며 대각성분이 1인 조건을 충족하도록 하여, 그로텐디크 행렬 집합 내에 있도록 한다.
• 최종 임베딩은 추정된 클러스터 행렬의 스펙트럼 분해를 통해 도출되며, 고유벡터는 데이터 포인트의 저차원 표현을 나타낸다.
• 전체 공분산 추정이 불가능한 매우 고차원 데이터에 적합하도록 입력으로 쌍별 거리만을 사용한다.
• 완전한 행렬 역행렬 또는 반복 보정을 피하기 위해 효율적인 고유값 최적화 절차를 제안한다.

실험 결과

연구 질문

• RQ1 준정형계획법 접근이 쌍별 거리만을 사용하여 가우시안 혼합 모델 프레임워크에서 클러스터 행렬을 신뢰성 있게 추정할 수 있는가?
• RQ2 결과로 도출된 임베딩이 거리 유지 임베딩과 비교해 내부 클러스터의 밀도 강화와 외부 클러스터의 분리도 향상으로 인해 클러스터링 성능을 향상시키는가?
• RQ3 특히 큰 수의 법칙에 따라 차원이 증가할수록 추정기의 강건성은 어떻게 변화하는가?
• RQ4 몬테카를로 시뮬레이션에서 기존 방법들인 스펙트럼 클러스터링이나 디퓨전 맵보다 SDP 기반 임베딩이 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 농도 불등식과 그로텐디크 부등식을 사용하여 추정 오차의 이론적 경계를 설정할 수 있는가?

주요 결과

• SDP 추정기의 클러스터 행렬 추정 오차 경계는 스토크래틱 블록 모델과 동일한 순서를 가지며, 이론적 타당성을 입증한다.
• 몬테카를로 실험 결과, 차원이 50에서 450으로 증가함에 따라 유사도 행렬의 희소성이 10~20% 향상된다.
• 이 방법은 고차원성에 대해 강건하다: 차원이 증가할수록 유사도 행렬이 결정론적 한계로 수렴하여, 저차원 변동에 대한 추정기 민감도가 감소한다.
• 추정된 클러스터 행렬의 스펙트럼 분해를 통한 임베딩은 기하적 거리 유지보다 클러스터 구조 강조를 통해 클러스터링 작업에서 표준 거리 유지 임베딩보다 뛰어난 성능을 발휘한다.
• $p = 0.05$인 $l^p$ 준노름 최소화를 사용할 경우, 유사도 행렬의 희소성이 향상되며, 상대 오차 히스토그램은 모든 차원에서 일관된 수렴을 보인다.
• 이론적 분석은 추정기가 가우시안 혼합 모델 하에서 일致적임을 확인하였으며, 농도 불등식을 통해 경험적 유사도 행렬의 밀도 경계가 탴하게 유지됨을 보장한다.