[논문 리뷰] Summary Statistics for Partitionings and Feature Allocations

Işık Barış Fidaner, Ali Taylan Cemgil|arXiv (Cornell University)|2013. 10. 01.

Bayesian Methods and Mixture Models참고 문헌 18인용 수 3

한 줄 요약

이 논문은 유한 혼합 모델에서의 분할 및 특성 할당 샘플 세트를 요약하고 시각화하기 위한 새로운 방법인 엔트로피 집적화(EA)를 소개한다. 요소 기반 엔트로피를 정의하고 누적 통계를 사용함으로써, EA는 해석 가능한 계층도를 생성하여 군집 구조, 분할 패턴 및 사후 샘플의 불확실성을 드러낸다. 이는 인위적, 유전자 발현, 정부 간 조직 데이터셋에서 뛰어난 성능을 보였다.

ABSTRACT

Infinite mixture models are commonly used for clustering. One can sample from the posterior of mixture assignments by Monte Carlo methods or find its maximum a posteriori solution by optimization. However, in some problems the posterior is diffuse and it is hard to interpret the sampled partitionings. In this paper, we introduce novel statistics based on block sizes for representing sample sets of partitionings and feature allocations. We develop an element-based definition of entropy to quantify segmentation among their elements. Then we propose a simple algorithm called entropy agglomeration (EA) to summarize and visualize this information. Experiments on various infinite mixture posteriors as well as a feature allocation dataset demonstrate that the proposed statistics are useful in practice.

연구 동기 및 목표

• 무한 혼합 모델에서 분할 및 특성 할당의 사후 분포가 퍼져 있을 경우 이를 효과적으로 요약하는 데 도전하는 것.
• 누적 통계와 발생 빈도 행렬을 사용하여 분할 및 특성 할당 샘플 세트를 체계적으로 표현하는 방법을 개발하는 것.
• 분할 및 불확실성의 양상을 수량화하기 위해 요소별 정보 및 엔트로피 순서를 정의하는 것.
• 샘플 세트의 주요 구조적 패턴을 시각화할 수 있는 단순하면서도 효과적인 알고리즘인 엔트로피 집적화(EA)를 만드는 것.
• 다양한 실제 및 인위적 데이터셋(유전자 발현, 정부 간 조직 소속 등)에서 제안된 통계의 유용성을 입증하는 것.

제안 방법

• 분할 및 특성 할당에서 요소 간의 분할 정도를 수량화하기 위해 요소 기반 정보에 기반한 새로운 엔트로피 정의를 제안한다.
• 분할 및 특성 할당 샘플 세트를 체계적으로 표현하기 위해 누적 통계와 누적 발생 분포 행렬을 도입한다.
• 샘플 세트의 구조를 가장 잘 대표하는 엔트로피 순서의 소량을 선택하고 시각화하기 위한 엔트로피 집적화(EA) 알고리즘을 개발한다.
• EA 계층도에 따라 순서가 매겨진 쌍별 발생 확률을 사용하여 공존 패턴과 군집 계층을 시각화한다.
• 무한 혼합 모델의 사후 샘플뿐 아니라, IGO 소속과 같은 직접적인 특성 할당 데이터셋에도 이 방법을 적용한다.
• 엔트로피 순서에 의해 이끌리는 계층적 집적화 과정을 통해 데이터의 잠재 구조를 반영하는 계층도를 구축한다.

실험 결과

연구 질문

• RQ1 사후 분포가 퍼져 있을 경우 분할 및 특성 할당 샘플 세트를 효과적으로 요약하고 시각화할 수 있는 방법은 무엇인가요?
• RQ2 분할과 특성 할당에 대해 요소 기반 정보와 분할 패턴을 포괄하는 의미 있는 엔트로피 정의는 무엇인가요?
• RQ3 누적 통계와 엔트로피 순서를 사용하여 샘플 세트의 군집 구조를 계층적으로 표현할 수 있을까요?
• RQ4 엔트로피 집적화(EA) 알고리즘이 다양한 데이터셋에서 진정한 잠재 구조를 얼마나 잘 드러내나요?
• RQ5 제안된 방법은 실제로 정부 간 조직 소속과 같은 실제 특성 할당 데이터에 직접 적용될 수 있을까요?

주요 결과

• 엔트로피 집적화(EA) 알고리즘은 세 개의 명확히 분리된 군집을 가진 인위적 데이터에서 잠재 군집 구조를 성공적으로 드러내었으며, 산란도에 따라 내부 요소와 외부 요소를 구분하였다.
• 아이리스 꽃 데이터셋에서 EA는 각 종의 50개 샘플을 모두 하나의 잎으로 올바르게 군집화하여 사후 분포에서의 강한 분리 가능성과 낮은 불확실성을 반영하였다.
• 갈락토스 유전자 발현 데이터셋에서는 70개 리보솜 단백질(RP) 유전자와 12개 헥소스 수송(HX) 유전자를 개별 잎으로 식별하였고, 외부 그룹 19개 유전자와 내부 군집 68개 유전자로 이루어진 계층적 구조를 드러내었다.
• IGO 데이터셋에서는 특성 할당(IGO-연도 소속)에 직접 EA를 적용하여 의미 있는 대륙 순서인 유럽, 아메리카-오세아니아-뉴질랜드, 아시아, 아프리카, 중동을 회복하였으며, 이는 비사후 데이터에 대한 유용성을 입증한다.
• 정렬된 쌍별 발생 빈도 행렬과 함께 사용될 때 EA 계층도는 공존 패턴과 구조적 불확실성을 효과적으로 시각화하며, graysacle의 톤이 군집의 밀도 수준을 나타낸다.
• 이 방법은 구현이 단순하며 깊은 사전 지식이 필요로 하지 않지만, 다양한 영역에서 복잡한 사후 샘플 세트에 대해 의미 있고 해석 가능한 요약을 제공한다.