[논문 리뷰] Adaptive Graph Auto-Encoder for General Data Clustering

Xuelong Li, Hongyuan Zhang외 1명|arXiv (Cornell University)|2020. 02. 20.

Advanced Graph Neural Networks참고 문헌 43인용 수 5

한 줄 요약

이 논문은 생성 모델과 그래프 오토인코더를 사용하여 가중치가 부여된 그래프를 적응적으로 구성하고 업데이트하는 일반적인 데이터 클러스터링을 위한 새로운 그래프 오토인코더인 AdaGAE를 제안한다. 학습 중에 동적으로 희소성을 증가시킴으로써 AdaGAE는 코어전(collapse)을 방지하고 사전 훈련 없이 초기화에 민감하지 않으며 다양한 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph-based clustering plays an important role in the clustering area. Recent studies about graph convolution neural networks have achieved impressive success on graph type data. However, in general clustering tasks, the graph structure of data does not exist such that the strategy to construct a graph is crucial for performance. Therefore, how to extend graph convolution networks into general clustering tasks is an attractive problem. In this paper, we propose a graph auto-encoder for general data clustering, which constructs the graph adaptively according to the generative perspective of graphs. The adaptive process is designed to induce the model to exploit the high-level information behind data and utilize the non-Euclidean structure sufficiently. We further design a novel mechanism with rigorous analysis to avoid the collapse caused by the adaptive construction. Via combining the generative model for network embedding and graph-based clustering, a graph auto-encoder with a novel decoder is developed such that it performs well in weighted graph used scenarios. Extensive experiments prove the superiority of our model.

연구 동기 및 목표

• 기본적인 그래프 구조가 존재하지 않는 일반적인 데이터 클러스터링으로 그래프 신경망을 확장하기 위해.
• 그래프 오토인코더에서 단순한 그래프 업데이트로 인해 발생하는 불안정성과 성능 코어전을 해결하기 위해.
• 사전 훈련이 필요 없고 초기화에 민감하지 않은 확장 가능한 클러스터링 방법을 개발하기 위해.
• GAE에 적합한 가중치가 부여된 그래프를 구축하기 위해 연결성 분포의 생성 모델링을 활용하기 위해.
• 적응형 희소성의 필요성을 실증적으로 검증하기 위해 그래프 구축에서 안정적이고 높은 성능을 내는 클러스터링을 위해.

제안 방법

• 노드 간 연결성 분포를 바탕으로 생성 모델을 사용하여 초깃값으로 희소 그래프를 구성한다.
• 가중치가 부여된 그래프를 위한 새로운 디코더를 갖춘 그래프 오토인코더를 사용하여 저차원 임bedding을 학습한다.
• 현재 임베딩을 기반으로 이웃 선택을 안내함으로써 각 학습 에포크에서 그래프의 희소성 $k$를 적응적으로 증가시킨다.
• 코어전을 방지하기 위해 동적 희소성 업데이트 전략을 도입하여 응집된 클러스터 표현을 보장한다.
• 재구성 및 클러스터링 목표를 결합한 공동 손실 함수를 사용하며, 항들을 균형 조절하기 위해 하이퍼파ram터 $\lambda$를 사용한다.
• 반복적 훈련을 적용: GAE 훈련 후에 임bedding 공간에서의 최근접 이웃을 통해 그래프를 업데이트한다.

실험 결과

연구 질문

• RQ1 왜 그래프 오토인코더에서 단순한 그래프 업데이트가 일반 클러스터링 작업에서 심각한 성능 저하(코어전)를 유발하는가?
• RQ2 기본적인 그래프 구조가 없는 일반적인 데이터 클러스터링에 그래프 오토인코더를 효과적으로 어떻게 적응시킬 수 있는가?
• RQ3 적응형 희소성은 훈련 과정의 안정성과 클러스터링 성능 향상에 어떤 역할을 하는가?
• RQ4 그래프 구축에 생성 모델의 관점을 활용하면 클러스터링을 위한 학습된 표현의 품질을 향상시킬 수 있는가?
• RQ5 다양한 데이터셋에서 기존의 딥 클러스터링 모델과 비교해 볼 때 AdaGAE는 강건성, 확장성, 성능 측면에서 어떻게 다른가?

주요 결과

• AdaGAE는 여러 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 20news에서 98.18%의 정확도와 USPS에서 98.36%의 정확도를 기록하여 기준 모델들을 크게 능가했다.
• 고정된 희소성은 심각한 코어전을 유발한다: COIL20에서 정확도가 약 50% 감소하고 NMI가 약 40% 감소하여 적응형 희소성의 필요성을 확인했다.
• 적응형 그래프 업데이트 메커니즘이 모든 데이터셋에서 성능 향상을 이끌었으며, 추론 실험을 통해 그 긍정적 영향을 확인했다.
• AdaGAE는 초기화에 강건하며 사전 훈련이 필요하지 않다. 이는 많은 딥 클러스터링 모델들과의 대비에서 유의미한 이점이다.
• 시각화 결과는 적응형 희소성이 임베딩 분할을 방지하고 응집된, 클러스터 기반의 표현을 이끌어낸다는 것을 확인했다.
• 생성 모델과 관련된 손실 항목(문제 7)이 핵심적이다. $\lambda$를 너무 높게 설정할 경우 임베딩이 단순해지고 코어전이 발생한다.