[논문 리뷰] Towards Clustering-friendly Representations: Subspace Clustering via Graph Filtering

Zhengrui Ma, Zhao Kang외 2명|arXiv (Cornell University)|2021. 06. 18.

Advanced Graph Neural Networks참고 문헌 41인용 수 7

한 줄 요약

이 논문은 부분공간 군집화를 위한 군집화 友好的 표현을 학습하기 위해 그래프 필터링 프레임워크를 제안한다. 낮은 주파수 성분을 통한 그래프 유사성의 특징에 통합하기 위해 저역통과 필터를 적용함으로써 데이터의 분리 가능성을 향상시킨다. 이 방법은 딥 러닝 모델과 비교해도 최신 기술 수준의 성능을 달성하며, 분석 실험을 통해 노이즈 감소, 구조 유지, 그리고 개선된 클래스 분리 가능성 확인하였다.

ABSTRACT

Finding a suitable data representation for a specific task has been shown to be crucial in many applications. The success of subspace clustering depends on the assumption that the data can be separated into different subspaces. However, this simple assumption does not always hold since the raw data might not be separable into subspaces. To recover the ``clustering-friendly'' representation and facilitate the subsequent clustering, we propose a graph filtering approach by which a smooth representation is achieved. Specifically, it injects graph similarity into data features by applying a low-pass filter to extract useful data representations for clustering. Extensive experiments on image and document clustering datasets demonstrate that our method improves upon state-of-the-art subspace clustering techniques. Especially, its comparable performance with deep learning methods emphasizes the effectiveness of the simple graph filtering scheme for many real-world applications. An ablation study shows that graph filtering can remove noise, preserve structure in the image, and increase the separability of classes.

연구 동기 및 목표

• 원시 데이터가 자연스럽게 부분공간으로 분리되지 않을 경우 부분공간 군집화의 한계를 해결하기 위해.
• 그래프 구조에 대한 사전 지식이 필요 없이 부드럽고 군집화에 유리한 특징을 생성하는 표현 학습 전략을 개발하기 위해.
• 다양한 데이터셋에서 그래프 필터링이 노이즈 또는 복잡한 데이터 조건 하에서도 군집화 성능을 향상시킬 수 있음을 보여주기 위해.
• 복잡한 딥 러닝 기반 군집화 방법과 비교해도 성능을 유사하게 달성할 수 있는 단순한 비딥 러닝 그래프 필터링 접근법을 보여주기 위해.

제안 방법

• 데이터 기반 그래프를 k-최근접 이웃를 사용해 구성하고, 데이터 다양체를 모델링하기 위해 대칭 정규화된 그래프 라플라시안을 적용한다.
• 특징 표현을 매끄럽게 하기 위해 반복적으로 저역통과 그래프 필터를 적용하며, 필터 커널은 그래프 라플라시안의 고유분해로부터 유도된다.
• 필터링 과정은 $ \mathbf{X}^{(k)} = (I + \alpha L_s)^{-k} \mathbf{X} $ 로 수식화되며, 여기서 $ L_s $ 는 대칭 정규화된 라플라시안이고 $ \alpha $ 는 매끄러움 강도를 조절하는 변수이다.
• 필터링된 표현을 사용해 반복적으로 그래프를 업데이트함으로써 유사성 행렬을 개선하고, 자가 향상되는 표현 학습을 가능하게 한다.
• 이 프레임워크는 저랭크 부분공간 군집화(LRSC) 및 절삭된 강력한 회귀(TRR)와 같은 다양한 부분공간 군집화 모델과 호환된다.
• 스펙트럼 그래프 이론을 활용해 저주파 성분(구조)를 유지하면서 고주파 노이즈를 억제한다.

실험 결과

연구 질문

• RQ1 그래프 필터링은 비분리 가능한 데이터에서 부분공간 군집화 성능을 향상시키는 군집화 친화적 표현을 생성할 수 있는가?
• RQ2 이미지 및 문서 데이터에서 그래프 필터링은 노이즈 억제, 구조 유지, 클래스 분리 가능성에 어떤 영향을 미치는가?
• RQ3 단순한 비딥 러닝 그래프 필터링 접근법이 최신 기술 수준의 딥 러닝 기반 군집화 방법과 유사한 성능을 달성할 수 있는가?
• RQ4 노이즈 제거와 표현의 구별 가능성 사이의 균형을 고려할 때 최적의 필터 순서(k)는 무엇인가?

주요 결과

• 노이즈가 있는 데이터에서 그래프 필터링을 적용함으로써 군집 정확도가 최대 6.5%p 향상되어 강력한 노이즈 내성 임을 입증하였다.
• COIL40 데이터셋에서 이 방법은 NMI 92.50%와 순수도 87.22%를 기록했으며, 베이스라인 방법(Nie et al., 2016)의 83.92% 정확도를 초월하였다.
• k=1일 때 그래프 필터링을 적용함으로써 PSNR가 26.12에서 28.76으로 상승하여 효과적인 노이즈 감소를 확인하였다.
• SSIM은 k=3에서 최고를 기록했고, 피셔 스코어는 k=5에서 최고를 기록하여 매끄러움과 구별 가능성 사이의 최적 균형을 확인하였다.
• k > 8일 경우 성능 저하가 발생하여, 필터 순서가 너무 클 경우 과도한 매끄러움이 발생함을 확인하였다.
• 분석 실험을 통해 그래프 필터링이 데이터의 분리 가능성 향상, 이미지 구조 유지, 고주파 노이즈 제거를 모두 향상시킴을 확인하였다.