[논문 리뷰] Strongly Local Hypergraph Diffusions for Clustering and Semi-supervised Learning

Meng Liu, Nate Veldt외 3명|arXiv (Cornell University)|2020. 11. 16.

Complex Network Analysis Techniques참고 문헌 60인용 수 5

한 줄 요약

이 논문은 개인화된 PageRank에 영감을 받은 이차 초그래프 컷 목적함수를 해결하는 강력한 국소적 초그래프 확산 방법을 제안한다. 이는 클러스터링과 준지도학습에 대해 높은 확장성과 정확도를 달성하며, 수백만 간선을 가진 데이터셋에서도 몇 초 내에 실행되며, 다양한 컷 함수를 지원하고, 체거 유사 경계를 통한 이론적 보장을 제공한다.

ABSTRACT

Hypergraph-based machine learning methods are now widely recognized as important for modeling and using higher-order and multiway relationships between data objects. Local hypergraph clustering and semi-supervised learning specifically involve finding a well-connected set of nodes near a given set of labeled vertices. Although many methods for local clustering exist for graphs, there are relatively few for localized clustering in hypergraphs. Moreover, those that exist often lack flexibility to model a general class of hypergraph cut functions or cannot scale to large problems. To tackle these issues, this paper proposes a new diffusion-based hypergraph clustering algorithm that solves a quadratic hypergraph cut based objective akin to a hypergraph analog of Andersen-Chung-Lang personalized PageRank clustering for graphs. We prove that, for graphs with fixed maximum hyperedge size, this method is strongly local, meaning that its runtime only depends on the size of the output instead of the size of the hypergraph and is highly scalable. Moreover, our method enables us to compute with a wide variety of cardinality-based hypergraph cut functions. We also prove that the clusters found by solving the new objective function satisfy a Cheeger-like quality guarantee. We demonstrate that on large real-world hypergraphs our new method finds better clusters and runs much faster than existing approaches. Specifically, it runs in few seconds for hypergraphs with a few million hyperedges compared with minutes for flow-based technique. We furthermore show that our framework is general enough that can also be used to solve other p-norm based cut objectives on hypergraphs. Our code is available \url{github.com/MengLiuPurdue/LHQD}.

연구 동기 및 목표

• 다양한 초그래프 컷 함수를 처리할 수 있는 유연하고 확장성 있고 강력한 국소적 초그래프 클러스터링 알고리즘이 부족한 문제를 해결한다.
• 초그래프 크기보다 출력 크기에 따라 확장되는 확산 기반 방법을 개발하여 거대한 데이터셋에서도 빠른 계산을 가능하게 한다.
• 카디널리티 기반 및 p-노름 컷 함수를 지원하는 이차 컷 목적함수를 사용해 개인화된 PageRank를 초그래프로 일반화한다.
• 해결된 클러스터의 품질에 대해 체거 유사 경계를 통한 이론적 보장을 제공한다.
• 실제 초그래프에서 기존의 플로우 기반 및 확산 기반 기준보다 뛰어난 성능을 보여준다.

제안 방법

• 개인화된 PageRank를 초그래프로 일반화하는 이차 목적함수 기반의 초그래프 확산 프레임워크를 제안한다.
• 클리크나 스타 전개에 의존하지 않고 다양한 카디널리티 기반 초그래프 컷 함수를 탄력적으로 모델링할 수 있는 새로운 수식을 사용한다.
• 출력 크기만에 의존하는 런타임을 확보하기 위해 적응형 희소화를 적용한 파wer 방법을 사용하여 확산 문제를 효율적으로 해결한다.
• 클러스터 품질 제어를 위해 전부 또는 없음과 카디널리티 기반 페널티 사이를 조절하는 매개변수 δ를 갖는 파rameterized 페널티 함수를 도입한다.
• 계산 효율성을 유지하면서도 해의 품질을 보존하기 위해 매개변수 κ로 제어되는 희소화 전략을 적용한다.
• 시드 노드에서의 확산 범위를 제어하기 위해 덤프링 매개변수 γ를 사용하여 생성된 클러스터의 크기를 제어할 수 있다.

실험 결과

연구 질문

• RQ1 초그래프 클러스터링을 위한 확산 기반 방법이 다양한 초그래프 컷 함수를 모델링하는 데 있어 강력한 국소성과 탄력성을 동시에 확보할 수 있는가?
• RQ2 제안된 방법이 대규모 실세계 초그래프에서 기존의 플로우 기반 및 확산 기반 접근법보다 더 높은 정확도와 확장성을 달성하는가?
• RQ3 제안된 방법이 생성하는 해에 대해 체거 유사 경계와 같은 이론적 보장을 제공할 수 있는가?
• RQ4 실세계 데이터셋에서 다양한 시드 세트 크기와 초그래프 구조에서 이 방법의 성능은 어떻게 되는가?
• RQ5 이 프레임워크는 이차 경우를 초월해 p-노름 기반 컷 목적함수를 지원할 수 있는가?

주요 결과

• 제안된 방법 LH-2.0는 Stack Overflow 데이터셋에서 중앙값 F1 스코어 0.66을 기록하여 플로우 기반 및 다른 확산 방법보다 정확도와 속도 면에서 뛰어나다.
• 동일한 데이터셋에서 LH-2.0는 평균 3.69초 내에 실행되며, 플로우 기반 방법(48.28초)과 다른 확산 변종보다 뚜렷이 빠르다.
• 작은 시드 세트(노드의 0.1%)에 대해서도 LH-1.4와 LH-2.0는 높은 F1 스코어(중앙값 약 0.65–0.74)를 유지하지만, OneHop 제거 기반 플로우 기반 방법은 클러스터 성장을 효과적으로 수행하지 못한다.
• 이 방법은 체거 유사 품질 보장을 달성하여, 발견된 클러스터가 초그래프 컷 함수에 대해 잘 연결되어 있고 균형 잡혀 있음을 보장한다.
• 알고리즘은 입력 크기와 대해 비선형적으로 확장되며, 런타임이 출력 클러스터 크기만에 의존하므로 강력한 국소성임을 확인한다.
• 프레임워크는 이차 컷을 초월해 p-노름 기반 컷 목적함수를 지원할 수 있을 정도로 일반적이며, 더 넓은 적용 가능성을 제공한다.