[논문 리뷰] Unsupervised Deep Manifold Attributed Graph Embedding

Zelin Zang, Siyuan Li외 4명|arXiv (Cornell University)|2021. 04. 27.

Advanced Graph Neural Networks참고 문헌 35인용 수 5

한 줄 요약

이 논문은 지오데식 유사도를 베르그만 발산을 통해 최적화함으로써 구조적 정보와 특징 정보를 모두 유지하는 새로운 비지도 프레임워크인 Deep Manifold Attributed Graph Embedding (DMAGE)을 제안한다. 경량의 완전 연결 집합 레이어를 도입하여 과도한 스무딩을 완화하고, 그래프 증강 기법을 통해 안정성을 확보함으로써 네 가지 벤치마크 데이터셋에서 노드 클러스터링, 링크 예측, 시각화 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Unsupervised attributed graph representation learning is challenging since both structural and feature information are required to be represented in the latent space. Existing methods concentrate on learning latent representation via reconstruction tasks, but cannot directly optimize representation and are prone to oversmoothing, thus limiting the applications on downstream tasks. To alleviate these issues, we propose a novel graph embedding framework named Deep Manifold Attributed Graph Embedding (DMAGE). A node-to-node geodesic similarity is proposed to compute the inter-node similarity between the data space and the latent space and then use Bergman divergence as loss function to minimize the difference between them. We then design a new network structure with fewer aggregation to alleviate the oversmoothing problem and incorporate graph structure augmentation to improve the representation's stability. Our proposed DMAGE surpasses state-of-the-art methods by a significant margin on three downstream tasks: unsupervised visualization, node clustering, and link prediction across four popular datasets.

연구 동기 및 목표

• 재구성 기반 비지도 그래프 임베딩 방법의 한계를 해결하기 위해, 작업에 종속적이고 과도한 스무딩에 취약한 점을 보완하고자 한다.
• 오토에인코더 디코더에 의존하지 않고도 저차원 잠재 공간에서 그래프의 구조적 정보와 노드 특징 정보를 모두 유지하고자 한다.
• 집합 레이어 수를 줄인 새로운 네트워크 설계를 통해 깊은 GCN 아키텍처에서 발생하는 과도한 스무딩 문제를 완화하고자 한다.
• 학습 중에 그래프 구조 증강 전략을 적용하여 임베딩의 안정성을 향상하고자 한다.
• 클러스터링, 링크 예측, 시각화와 같은 하류 작업에서 더 나은 일반화 능력과 성능을 달성하고자 한다.

제안 방법

• 그래프 내 최단 경로를 활용하여 구조적 및 특징 기반 관계를 모두 포괄하는 노드 간 지오데식 유사도 측정 방법을 제안한다.
• 내부 및 외부 클러스터 관계의 균형을 맞추기 위해 가속도 자유도가 학습 가능한 t-분포 커널 함수를 사용하여 근접성 유사도를 모델링한다.
• 깊은 네트워크에서 집합 연산의 횟수를 제한함으로써 과도한 스무딩을 줄이기 위해 완전 연결 집합(Fully Connected Aggregation, FCA) 레이어를 도입한다.
• 데이터 공간과 잠재 공간 내 지오데식 유사도 간 차이를 최소화하기 위해 베르그만 발산을 손실 함수로 사용한다.
• 구조적 의미를 변경하지 않으면서도 강건성을 향상시키기 위해 무작위로 힙-1 간선을 추가하고 힙-2 간선을 제거하는 그래프 구조 증강 기법을 적용한다.
• 작업에 특화된 재구성 목표 없이 백프로파게이션을 통해 잠재 공간 표현을 종합적으로 최적화한다.

실험 결과

연구 질문

• RQ1 유사도 기반 프레임워크가 재구성 기반 방법보다 비지도 특징 부여 그래프 임베딩에서 더 우수한 성능을 낼 수 있는가?
• RQ2 FCA를 통해 집합 레이어 수를 줄일 경우, 깊은 GCN 아키텍처에서 표현 품질에 어떤 영향을 미치며 과도한 스무딩을 어떻게 완화할 수 있는가?
• RQ3 그래프 구조 증강 전략이 학습된 임베딩의 안정성과 일반화 능력에 얼마나 기여하는가?
• RQ4 ν_latent와 Q_p와 같은 하이퍼파라미터가 국소적 및 전역적 구조 유지 균형에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 지도 학습 없이 다양한 하류 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• DMAGE는 노드 클러스터링에서 최신 기술 수준의 성능을 달성하였으며, CORA에서 74.15%의 정확도, CiteSeer에서 69.70%, PubMed에서 76.35%, Wiki에서 51.51%를 기록하였다.
• 그래프 증강을 제거할 경우 성능 저하가 심각하게 발생하였으며, 특히 PubMed(71.33% 대비 76.35%)와 Wiki(48.64% 대비 51.51%)에서 두드러졌다. 이는 증강 기법이 안정성에 기여한다는 것을 입증한다.
• FCA 레이어를 제거하면 CORA에서 정확도가 73.89%로 떨어지고 CiteSeer에서는 68.37%로 감소하며, 모든 레이어를 GCN으로 대체할 경우 완전한 붕괴가 발생함으로써 FCA가 과도한 스무딩을 방지하는 데 핵심적인 역할을 한다는 점을 확인한다.
• 부드러운 지오데식 유사도를 딱딱한 간선 기반 연결로 대체할 경우, CORA에서 65.32%, CiteSeer에서 66.78%, PubMed에서 65.00%로 정확도가 떨어지며, 간접 관계를 포괄하는 데 지오데식 유사도가 더 뛰어나다는 점을 입증한다.
• 하이퍼파라미터 Q_p는 성능에 측정 가능한 영향을 미치지만 과도하게 민감하지 않으며, 최적의 구간이 존재해 기준 방법을 초월하는 클러스터링 성능을 달성할 수 있도록 한다.
• t-분포 커널의 ν_latent를 증가시키면 비유사한 노드 간 거리가 더 멀어져 뭉치는 현상이 줄어들며, 이는 시각화에서 클러스터 간 분리도를 향상시킨다.