[논문 리뷰] Uniform Hypergraph Partitioning: Provable Tensor Methods and Sampling Techniques

Debarghya Ghoshdastidar, Ambedkar Dukkipati|arXiv (Cornell University)|2016. 02. 21.

Tensor decomposition and applications참고 문헌 74인용 수 31

한 줄 요약

이 논문은 가중치가 부여된 균일한 초그래프에 대해 증명 가능하게 일致하는 텐서 기반 초그래프 분할 알고리즘을 제안한다. 밀도가 높은 초그래프에서의 계산 비효율성을 해결하기 위해 텐서 샘플링을 스펙트럴 방법과 융합한다. 식물 초그래프 모델 하에서 복구 정확도에 대한 이론적 보장을 수립하며, 간선 가중치가 희박하고 비균일한 경우에도 샘플링 기반 접근법이 높은 확률로 거의 최적의 성능을 달성함을 보여준다.

ABSTRACT

In a series of recent works, we have generalised the consistency results in the stochastic block model literature to the case of uniform and non-uniform hypergraphs. The present paper continues the same line of study, where we focus on partitioning weighted uniform hypergraphs---a problem often encountered in computer vision. This work is motivated by two issues that arise when a hypergraph partitioning approach is used to tackle computer vision problems: (i) The uniform hypergraphs constructed for higher-order learning contain all edges, but most have negligible weights. Thus, the adjacency tensor is nearly sparse, and yet, not binary. (ii) A more serious concern is that standard partitioning algorithms need to compute all edge weights, which is computationally expensive for hypergraphs. This is usually resolved in practice by merging the clustering algorithm with a tensor sampling strategy---an approach that is yet to be analysed rigorously. We build on our earlier work on partitioning dense unweighted uniform hypergraphs (Ghoshdastidar and Dukkipati, ICML, 2015), and address the aforementioned issues by proposing provable and efficient partitioning algorithms. Our analysis justifies the empirical success of practical sampling techniques. We also complement our theoretical findings by elaborate empirical comparison of various hypergraph partitioning schemes.

연구 동기 및 목표

• 밀도가 높고 거의 희박한 가중치가 부여된 초그래프에서 전체 간선 가중치 계산이 필요로 하는 기존 초그래프 분할 알고리즘의 계산 비효율성을 해결하기 위해.
• 실제로 널리 사용되지만 공식적인 정당성이 부족한 샘플링 기반 텐서 방법에 대한 엄밀한 이론적 분석을 제공하기 위해.
• 기존의 비가중치 초그래프에 대한 일致성 결과를 일반화된 식물 모델 하에서 가중치가 부여된 균일한 초그래프로 확장하여, 희박하고 이진이 아닌 간선 가중치에 대한 강건성을 확보하기 위해.
• 샘플링 기반 방법에 대해 샘플링 계획 하에서 높은 확률로 유지되는 클러스터링 오차의 이론적 경계를 수립하기 위해.

제안 방법

• 고차원 연관 문제와 유사한 스펙트럴 클러스터링의 리 릿지화로 재구성된, 텐서 트레이스 최대화 기반의 스펙트럴 클러스터링 알고리즘을 제안한다.
• 간선 가중치에 비례하는 비균일 확률 분포에 따라 복원 추출 방식으로 초간선을 선택하는 샘플링 전략을 도입하여 계산 비용을 감소시킨다.
• 식물 모델 하에서 샘플된 라플라시안과 진짜 라플라시안 간의 편차를 제한하기 위해 정규화된 인접도 텐서를 사용하고, 행렬 베르누이 불등식을 적용한다.
• 베르누이 불등식을 사용하여 도수 행렬과 라플라시안의 농도 경계를 유도함으로써, 샘플링 하에서 스펙트럴 방법의 안정성을 확보한다.
• 초그래프 구조와 샘플링 간의 공동 확률 측도를 활용하여 스펙트럴 클러스터링 성능의 높은 확률 오차 경계를 유도한다.
• 스펙트럴 갭과 고유값 편차를 분석하여, 샘플된 라플라시안의 주요 고유벡터가 진짜 클러스터 구조를 잘 근사함을 보장한다.

실험 결과

연구 질문

• RQ1 가중치가 부여된 식물 모델 하에서 샘플링 기반 텐서 방법이 일관된 클러스터링을 달성할 수 있는가?
• RQ2 샘플링 전략은 진짜 초그래프 라플라시안의 스펙트럴 근사에 어떤 영향을 미치는가?
• RQ3 오직 일부 초간선만 관측되었을 경우 클러스터링 오차에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 샘플링 오차의 경계는 초그래프 크기, 간선 가중치 분포, 최소 차수에 따라 어떻게 척도화되는가?
• RQ5 이론적 결과는 실무에서의 샘플링 성공을 어느 정도 정당화하는가?

주요 결과

• 제안된 샘플링 기반 스펙트럴 알고리즘은 $ O\left(\sqrt{\frac{\ln n}{N}} \left(1 + \frac{\beta (m-1)!}{\mathcal{D}_{\min}} \right)\right) $ 의 클러스터링 오차를 높은 확률로 보인다. 여기서 $ N $ 은 샘플된 초간선의 수이다.
• 샘플된 라플라시안과 진짜 라플라시안 간의 편차는 $ O\left(\sqrt{\frac{\ln n}{N}} \left(1 + \frac{2\beta (m-1)!}{\mathcal{D}_{\min}} \right)\right) $ 로 제한되며, 확률 $ 1 - o(1) $ 에서 성립한다.
• 이 방법은 샘플된 라플라시안의 주요 고유벡터가 높은 확률로 진짜 클러스터 지시자와 가까워지게 하여 일관된 클러스터링을 보장한다.
• 이론적 분석은 간선 가중치가 희박하고 비균일한 경우에도 성능 저하가 크지 않음을 확인하며, 실무에서의 사용을 정당화한다.
• 경계는 간선 가중치 분포와 초그래프 구조에 대해 최소한의 가정만으로도 성립하므로, 실세계 데이터 특성에 강건하다.
• 실증 평가 결과, 전산 계산 대비 런타임에서 더 우수한 성능를 보이며, 동일한 클러스터링 정확도를 유지함을 확인하였다.