[논문 리뷰] Structured Graph Learning for Scalable Subspace Clustering: From Single-view to Multi-view

Zhao Kang, Zhiping Lin외 2명|arXiv (Cornell University)|2021. 02. 16.

Advanced Clustering Algorithms Research참고 문헌 70인용 수 10

한 줄 요약

이 논문은 앵커 포인트와 이분할 그래프를 사용하여 선형 시간 복잡도를 달성하고, 연결성 제약 조건을 통해 클러스터 구조를 명시적으로 강제하며, 샘플 외 확장을 지원하는 확장 가능하고 구조 인식 그래프 학습 프레임워크를 제안한다. 이 방법은 단일 및 다중 뷰 데이터셋, 특히 대규모 NUS-WIDE에서 정확도, 순수도 및 효율성 측면에서 최신 기술을 초월하며, 10회 이내에 수렴한다.

ABSTRACT

Graph-based subspace clustering methods have exhibited promising performance. However, they still suffer some of these drawbacks: encounter the expensive time overhead, fail in exploring the explicit clusters, and cannot generalize to unseen data points. In this work, we propose a scalable graph learning framework, seeking to address the above three challenges simultaneously. Specifically, it is based on the ideas of anchor points and bipartite graph. Rather than building a $n imes n$ graph, where $n$ is the number of samples, we construct a bipartite graph to depict the relationship between samples and anchor points. Meanwhile, a connectivity constraint is employed to ensure that the connected components indicate clusters directly. We further establish the connection between our method and the K-means clustering. Moreover, a model to process multi-view data is also proposed, which is linear scaled with respect to $n$. Extensive experiments demonstrate the efficiency and effectiveness of our approach with respect to many state-of-the-art clustering methods.

연구 동기 및 목표

• 전체 n×n 유사도 그래프 구축과 고유값 분해로 인해 O(n³)로 확장되는 전통적인 그래프 기반 부분공간 클러스터링 방법의 높은 계산 비용을 해결한다.
• 기존 방법에서의 명시적 클러스터 구조 부족 문제를 해결하기 위해 클러스터 소속을 직접 반영하는 연결성 제약 조건을 도입한다.
• 재학습 없이도 새로운, 알려지지 않은 데이터 포인트를 클러스터링할 수 있도록 샘플 외 일반화를 가능하게 한다.
• 확장 가능한 단일 뷰 프레임워크를 다중 뷰 데이터로 확장하면서 선형 복잡도를 유지하고 성능을 유지를 한다.
• 그래프 기반 클러스터링과 K-means 간의 이론적 격차를 메우기 위해 공식적인 연결 고리를 수립한다.

제안 방법

• 전체 n×n 유사도 그래프 대신 데이터 샘플과 소규모 앵커 포인트 집합 간의 이분할 그래프를 구축하여 메모리와 계산을 O(n)으로 감소시킨다.
• 학습된 그래프의 연결 성분이 직접적으로 클러스터에 대응하도록 연결성 제약 조건을 도입하여 명시적인 클러스터 구조 탐색을 가능하게 한다.
• 스펙트럴 그래프 성질을 활용하여 그래프와 클러스터 지표를 동시에 학습하는 최적화 문제를 제안함으로써 클러스터 일관성을 보장한다.
• 제안된 방법과 K-means 클러스터링 간의 이론적 연결 고리를 수립하여, 특정 조건 하에서 목적 함수 최소화가 K-means 최적화와 일치함을 보여준다.
• 각 뷰별 그래프를 학습하고 공통 클러스터링 전략을 통해 융합함으로써 다중 뷰 데이터에 프레임워크를 확장하며, 선형 확장성과 성능을 유지한다.
• 특히 다중 뷰 설정에서 정규화 파라미터 γ에 대해 그리드 서치를 사용하여 하이퍼파rameter 튜닝을 수행한다.

실험 결과

연구 질문

• RQ1 그래프 기반 부분공간 클러스터링 방법이 정확도를 유지하면서 선형 시간 복잡도를 달성할 수 있는가?
• RQ2 그래프 구조에 연결성 제약 조건을 도입함으로써 스펙트럴 클러스터링과 같은 후처리 기법에 의존하지 않고도 명시적인 클러스터 형성을 직접 강제할 수 있는가?
• RQ3 제안된 방법이 샘플 외 데이터 포인트에 대해 일반화 가능한가? 이는 온라인 또는 스트리밍 환경에서의 구현 가능성을 의미한다.
• RQ4 기존 최신 기술 대비 제안된 방법이 다중 뷰 데이터에서 확장성과 클러스터링 품질 측면에서 어떻게 성능을 발휘하는가?
• RQ5 제안된 그래프 학습 프레임워크와 K-means 클러스터링 간의 이론적 관계는 무엇인가?

주요 결과

• Caltech-7 데이터셋에서 MSGL은 73.31%의 정확도와 52.47%의 NMI를 기록하여 LMVSC(72.66% 정확도, 51.93% NMI) 및 기타 기준 모델을 모두 능가한다.
• Citeseer에서 MSGL은 54.47%의 정확도와 26.54%의 NMI를 기록하여 LMVSC(52.26% 정확도, 25.71% NMI) 및 다른 방법을 능가한다.
• 대규모 NUS-WIDE 데이터셋에서 MSGL은 547.58초(±32.11) 만에 클러스터링을 완료하여 MSC_IAS(45,386초)보다 훨씬 빠르며, 16.31%의 정확도와 12.26%의 NMI를 기록한다.
• 모든 세 데이터셋에서 목적 함수가 10회 이내에 수렴하여 알고리즘의 빠른 수렴성과 안정성을 확인한다.
• MSGL은 모든 데이터셋에서 정확도, NMI, 순수도 등 모든 지표에서 높은 성능를 유지하며, 강건성과 확장성의 우수함을 입증한다.
• 이 방법은 선형 시간 복잡도를 달성하고 샘플 외 확장을 지원하여 실세계의 대규모 및 동적 데이터 응용 분야에 적합하다.