[논문 리뷰] A Bayesian non-parametric method for clustering high-dimensional binary data

Tapesh Santra|arXiv (Cornell University)|2016. 03. 08.

Bayesian Methods and Mixture Models참고 문헌 23인용 수 5

한 줄 요약

이 논문은 높은 차원의 이元 데이터를 위한 베이지안 비모수 군집화 방법을 제안하며, 디리클레 과정 혼합 모델과 시뮬레이티드 어닐링을 결합하여 최적의 군집 수를 자동으로 결정한다. 시뮬레이션에서 기존 방법들을 능가하며, 문서 분석, 수필 인식, 암 연구 분야의 실제 데이터셋에서도 주제 기반 군집, 글씨 스타일 군집, 치료법에 따른 조직-돌연변이 패턴을 식별함으로써 성공적으로 군집화를 수행한다.

ABSTRACT

In many real life problems, objects are described by large number of binary features. For instance, documents are characterized by presence or absence of certain keywords; cancer patients are characterized by presence or absence of certain mutations etc. In such cases, grouping together similar objects/profiles based on such high dimensional binary features is desirable, but challenging. Here, I present a Bayesian non parametric algorithm for clustering high dimensional binary data. It uses a Dirichlet Process (DP) mixture model and simulated annealing to not only cluster binary data, but also find optimal number of clusters in the data. The performance of the algorithm was evaluated and compared with other algorithms using simulated datasets. It outperformed all other clustering methods that were tested in the simulation studies. It was also used to cluster real datasets arising from document analysis, handwritten image analysis and cancer research. It successfully divided a set of documents based on their topics, hand written images based on different styles of writing digits and identified tissue and mutation specificity of chemotherapy treatments.

연구 동기 및 목표

• 기존 방법들이 차원의 극복과 군집 수의 불확실성으로 어려움을 겪는 높은 차원의 이원 데이터 군집화 문제를 해결하기 위해.
• 사전에 군집 수를 지정하지 않고도 최적의 군집 수를 자동으로 결정할 수 있는 방법을 개발하기 위해.
• 키워드 존재 여부, 유전자 돌연변이, 이미지 특징와 같은 이원 특징을 포함한 실제 응용 분야에서 군집 정확도와 강인성을 향상시키기 위해.
• 텍스트, 영상, 생물의학 연구와 같은 다양한 분야에 적합한 확장 가능하고 적응 가능한 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 무한한 수의 군집을 允허하는 디리클레 과정 혼합 모델(DPMM)을 사용하며, 사후 분석을 통해 효과적인 군집 수를 결정한다.
• 이원 데이터를 모델링하기 위해 공액 prior가 아닌 사전 분포를 사용하여 고차원 이원 벡터의 탄력적인 모델링을 가능하게 한다.
• 사후 분석 탐색 중 국소 최적해를 피하고 수렴성을 향상시키기 위해 시뮬레이티드 어닐링을 견고한 기반의 기반에 통합한다.
• 샘플링 중 데이터 포인트를 군집에 효율적으로 할당하기 위해 DP의 차이나 리스토랑 프로세스(CRP) 표현을 사용한다.
• 군집별 특성 매개변수를 통합하는 병합된 기반의 기반을 사용한 마르코프 체인 몬테카를로(MCMC)를 통한 사후 추론을 수행한다.
• 군집 수를 사전에 지정할 필요 없이 군집 구조를 적응적으로 학습한다.

실험 결과

연구 질문

• RQ1 베이지안 비모수 모델이 군집 수를 사전에 지정하지 않고도 고차원 이원 데이터를 효과적으로 군집화할 수 있는가?
• RQ2 제안된 방법은 시뮬레이션된 고차원 이원 데이터에서 기존의 파라미터적 및 비모수적 방법과 비교해 군집 정확도에서 어떻게 성능을 발휘하는가?
• RQ3 이 방법은 문서, 수필 인식, 암 돌연변이 프로파일과 같은 실제 데이터셋에서 의미 있는 군집을 성공적으로 식별할 수 있는가?
• RQ4 시뮬레이티드 어닐링의 통합이 고차원 이원 환경에서 수렴성과 군집 성능을 향상시키는가?

주요 결과

• 제안된 방법은 시뮬레이션 연구에서 테스트된 모든 군집 알고리즘보다 뛰어난 성능을 보이며, 진짜 군집 구조를 식별하는 데 뛰어난 정확도를 보였다.
• 이 방법은 키워드 존재 여부 데이터를 기반으로 문서를 의미론적 주제 기반으로 군집화하여 일관된 주제 군집을 드러냈다.
• 글씨 스타일에 따라 수필 인식 이미지를 정확하게 군집화하여 서로 다른 글씨 스타일 패턴을 구분했다.
• 암 연구 분야에서 이 방법은 화학요법 치료 반응에 있어서 조직 특이적 및 돌연변이 특이적 패턴을 식별했다.
• 알고리즘이 자동으로 최적의 군집 수를 결정하여 과적합을 방지하고 히우리스틱 군집 선택 방법에 대한 의존도를 줄였다.
• 시뮬레이티드 어닐링의 사용은 고차원 환경에서 MCMC 샘플링 과정의 수렴성과 안정성을 크게 향상시켰다.