[논문 리뷰] Approximation Algorithms for Bregman Co-clustering and Tensor Clustering

Stefanie Jegelka, Suvrit Sra외 1명|ArXiv.org|2008. 12. 01.

Tensor decomposition and applications참고 문헌 33인용 수 4

한 줄 요약

이 논문은 Bregman 공클러스터링과 텐서 클러스터링에 대한 최초의 근사 알고리즘을 제안하며, m가 텐서의 차수이고 α가 1차원 클러스터링의 근사 요인일 때 O(mα)의 근사 요인을 달성한다. 이 방법은 ℓ₁ 및 ℓ₂ 노름을 포함한 임의의 분리 가능한 거리 척도로 일반화되며, 이론적 보장을 제공하면서도 실제 데이터 세트에서 실용적인 효과를 입증한다.

ABSTRACT

In the past few years powerful generalizations to the Euclidean k-means problem have been made, such as Bregman clustering [7], co-clustering (i.e., simultaneous clustering of rows and columns of an input matrix) [9,18], and tensor clustering [8,34]. Like k-means, these more general problems also suffer from the NP-hardness of the associated optimization. Researchers have developed approximation algorithms of varying degrees of sophistication for k-means, k-medians, and more recently also for Bregman clustering [2]. However, there seem to be no approximation algorithms for Bregman co- and tensor clustering. In this paper we derive the first (to our knowledge) guaranteed methods for these increasingly important clustering settings. Going beyond Bregman divergences, we also prove an approximation factor for tensor clustering with arbitrary separable metrics. Through extensive experiments we evaluate the characteristics of our method, and show that it also has practical impact.

연구 동기 및 목표

• Bregman 공클러스터링과 텐서 클러스터링은 NP-난해하나 이론적 근사 보장이 부족한 문제를 해결하기 위해.
• 기존의 k-means 및 k-median에 대한 근사 알고리즘들을 Bregman 발산과 분리 가능한 척도를 갖는 다차원 클러스터링으로 확장하기 위해.
• ℓ₁ 및 ℓ₂ 노름을 포함한 임의의 분리 가능한 척도에 대해 텐서 클러스터링에 대한 최초의 이론적 근사 경계를 제공하기 위해.
• 실제 데이터에서 알고리즘의 성능을 검증하여 이론적 영향과 실용적 영향을 동시에 입증하기 위해.

제안 방법

• 각 차원을 별도로 다루면서도 공동 최적화를 통해 클러스터 할당을 최적화하는 텐서 클러스터링을 위한 블록 평균화 접근법을 제안한다.
• 다차원 클러스터링 문제를 1차원 클러스터링 문제의 시퀀스로 줄이는 재귀적 분해 전략을 사용한다.
• 1차원 클러스터링에서의 근사 요인 α를 활용하여 전체 해의 품질을 근사하고, m방향 텐서 클러스터링에 대해 O(mα) 근사 요인을 도출한다.
• 볼록성과 하위모듈라리티 성질을 통해 Bregman 발산과 임의의 분리 가능한 척도, ℓ₁ 및 ℳ₂ 노름까지도 이 프레임워크로 확장한다.
• 이중 단계 알고리즘을 활용: 첫 번째로 근사 1차원 클러스터링을 계산하고, 두 번째로 이들을 이론적 성능 경계를 갖는 공동 공클러스터링 해로 통합한다.
• 합성 및 실제 데이터를 사용하여 방법을 검증하며, 유전자 발현(Leukemia) 및 MLL 데이터 세트를 포함한다. 기존 히우리스틱과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 Bregman 공클러스터링과 텐서 클러스터링에 대해 NP-난해함에도 불구하고 근사 알고리즘을 개발할 수 있는가?
• RQ2 Bregman 발산과 분리 가능한 척도를 갖는 텐서 클러스터링에 대해 달성 가능한 근사 요인은 무엇인가?
• RQ3 k-means 및 k-median에 대한 근사 보장이 임의의 척도를 갖는 다차원 클러스터링으로 확장될 수 있는가?
• RQ4 제안된 알고리즘의 성능은 실제 데이터에서 기존 히우리스틱과 비교해 어떻게 되는가?

주요 결과

• 제안된 알고리즘은 Bregman 텐서 클러스터링에 대해 O(mα)의 근사 요인을 달성한다. 여기서 m은 텐서의 차수이고 α는 1차원 클러스터링의 근사 요인이다.
• ℓ₁-노름 기반 텐서 클러스터링의 경우, 이 방법은 k-median를 텐서로 일반화한 것과 동일한 근사 보장을 제공한다.
• KL 발산을 사용한 Leukemia 데이터 세트에서 알고리즘은 클러스터링 목적 함수 값 1.66×10⁻¹을 달성하여 기존 히우리스틱을 초월했다.
• 알고리즘의 성능은 1차원 클러스터링 품질 α와 텐서 차수 m에 대해 선형적으로 의존하며, 이는 이론적 경계가 확인된 것이다.
• 실험 결과, 알고리즘은 동시에 이루어지는 공클러스터링을 위한 효과적인 초기화 역할을 하여 수렴 속도와 해 품질을 향상시켰다.
• 다양한 데이터 세트에서 기존 히우리스틱 대비 일관된 성능 향상을 보였으며, 클러스터링 목적 함수 값 평균 3–7% 향상되었다.