[논문 리뷰] Co-clustering through Optimal Transport

Charlotte Laclau, Ievgen Redko외 3명|arXiv (Cornell University)|2017. 05. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 7

한 줄 요약

이 논문은 엔트로피 정규화된 최적 운반 이론을 사용하여 데이터 인스턴스와 특징을 동시에 클러스터링하는 새로운 비지도 방법인 공-클러스터링을 통한 최적 운반(CCOT)을 제안한다. 이 방법은 확률적 결합을 모델링함으로써 행과 열 클러스터의 수를 자동으로 결정하며, 실세계 데이터셋(9×15 블록 구조를 가진 MovieLens 포함)에서 최신 기술 수준의 정확도와 속도를 확보한다.

ABSTRACT

In this paper, we present a novel method for co-clustering, an unsupervised learning approach that aims at discovering homogeneous groups of data instances and features by grouping them simultaneously. The proposed method uses the entropy regularized optimal transport between empirical measures defined on data instances and features in order to obtain an estimated joint probability density function represented by the optimal coupling matrix. This matrix is further factorized to obtain the induced row and columns partitions using multiscale representations approach. To justify our method theoretically, we show how the solution of the regularized optimal transport can be seen from the variational inference perspective thus motivating its use for co-clustering. The algorithm derived for the proposed method and its kernelized version based on the notion of Gromov-Wasserstein distance are fast, accurate and can determine automatically the number of both row and column clusters. These features are vividly demonstrated through extensive experimental evaluations.

연구 동기 및 목표

• 기존의 공-클러스터링 방법의 한계, 특히 클러스터 수를 사전에 지정해야 하는 요구사항을 해결하기 위해.
• 동시에 데이터 인스턴스와 특징을 군집화하는 확장 가능하고 정확한 공-클러스터링 방법을 개발하기 위해.
• 사전 지식 없이도 행과 열 클러스터 수를 자동으로 탐지할 수 있도록 하기 위해.
• 역 쿨백-라이블러 발산 최소화를 통한 변분 추론과 최적 운반을 연결함으로써 이론적으로 타당한 접근을 제공하기 위해.

제안 방법

• 이 방법은 데이터 인스턴스와 특징에 정의된 경험적 측도 간의 최적 운반 문제로 공-클러스터링 문제를 모델링한다.
• 계산 효율성과 결합 행렬의 매끄러움을 확보하기 위해 엔트로피 정규화를 사용하여 빠르고 병렬화 가능한 최적화를 가능하게 한다.
• 최적 운반 해법은 이중 확산 결합 행렬을 도출하며, 이를 인스턴스와 특징 간의 공동 확률 분포로 해석한다.
• 이 결합 행렬은 다중 척도 표현을 사용하여 행과 열 분할을 추출함으로써 공-클러스터에 대응한다.
• 커널화된 변형은 유사도 행렬에서 작동하기 위해 그로모프-워샤프스키 거리를 사용한다. 이는 비유클리드 데이터 구조를 처리할 수 있도록 한다.
• 최적 운반을 통한 밀도 추정이 역 쿨백-라이블러 발산 최소화를 통한 변분 추론과 일치함을 보여 이론적 근거를 제공한다.

실험 결과

연구 질문

• RQ1 최적 운반은 자동 클러스터 수 탐지 기능을 갖춘 원칙적인 공-클러스터링 프레임워크로 효과적으로 재사용될 수 있는가?
• RQ2 최적 운반에 엔트로피 정규화를 적용할 경우, 기존의 거리 기반 또는 확률 기반 방법에 비해 공-클러스터링의 확장성과 정확도가 어떻게 향상되는가?
• RQ3 최적 운반에서 도출된 결합 행렬이 행과 열 분할을 유도하기 위해 의미 있는 공동 분포를 제공하는 정도는 어느 정도인가?
• RQ4 유사도 행렬에서 그로모프-워샤프스키 거리를 사용한 커널화된 설정으로 이 방법을 일반화할 수 있는가?
• RQ5 최적 운반 해법의 변분 추론 해석은 통계적 학습 관점에서 이 방법의 공-클러스터링 적용을 정당화하는가?

주요 결과

• CCOT-GW는 MovieLens 데이터셋에서 9×15 공-클러스터 구조를 자동으로 탐지했으며, 런에 따라 매우 일관된 분할을 보였다 (정규화된 상호정보량 >0.8).
• 이 방법은 정확하고 해석 가능한 공-클러스터를 도출했다: M1은 스타워즈(1977)와 같이 높은 평가를 받는 인기 있는 영화를 포함했고, M15는 아미티빌: 뉴 세대(1993)처럼 평가가 낮은 영화를 포함했다.
• 사용자 클러스터는 명확한 평가 행동 패tern을 보였으며, 마지막 두 클러스터는 평균보다 일관되게 낮은 평가를 하여 체계적인 사용자 선호도를 반영했다.
• 결합 행렬은 데이터 행렬을 효과적으로 요약했으며, 블록 평균이 공-클러스터 내에서 균일한 평가 패턴을 명확히 드러냈다.
• 알고리즘은 높은 계산 효율성과 확장성을 보였으며, 엔트로피 정규화와 병렬 처리 덕분에 빠른 수렴을 보였다.
• 역 쿨백-라이블러 발산 최소화를 통한 변분 추론과의 이론적 연결은 이 방법의 설계에 강력한 통계적 기반을 제공한다.