[논문 리뷰] GraphTSNE: A Visualization Technique for Graph-Structured Data

Yao Yang Leow, Thomas Laurent외 1명|arXiv (Cornell University)|2019. 04. 15.

Data Visualization and Analytics참고 문헌 22인용 수 10

한 줄 요약

GraphTSNE는 그래프 구조와 노드 특징을 그래프 컨volution 네트워크(GCN)를 통해 가중 조합된 그래프 이론적 및 특징 기반 t-SNE 손실에 대해 훈련시켜 함께 활용하는 새로운 시각화 기법이다. 유연한 초매개변수 α를 통해 두 구성요소를 균형 잡음으로써 GraphTSNE는 구조적 연결성과 특징 군집화를 모두 유지하는 우수한 시각화 결과를 도출하며, 기준 인용 네트워크에서 t-SNE와 tsNET을 능가한다.

ABSTRACT

We present GraphTSNE, a novel visualization technique for graph-structured data based on t-SNE. The growing interest in graph-structured data increases the importance of gaining human insight into such datasets by means of visualization. Among the most popular visualization techniques, classical t-SNE is not suitable on such datasets because it has no mechanism to make use of information from the graph structure. On the other hand, visualization techniques which operate on graphs, such as Laplacian Eigenmaps and tsNET, have no mechanism to make use of information from node features. Our proposed method GraphTSNE produces visualizations which account for both graph structure and node features. It is based on scalable and unsupervised training of a graph convolutional network on a modified t-SNE loss. By assembling a suite of evaluation metrics, we demonstrate that our method produces desirable visualizations on three benchmark datasets.

연구 동기 및 목표

• 기존의 시각화 방법이 그래프 구조와 노드 특징을 동시에 모델링하지 못하는 한계를 해결하기 위해.
• 고차원 노드 특징을 갖는 그래프 구조 데이터에 특화된 확장 가능하고 비지도 학습 기반의 시각화 기법을 개발하기 위해.
• 최단경로 거리 기반 그래프 연결성과 유클리드 거리 기반 노드 특징 유사도를 통합된 t-SNE 기반 최적화 프레임워크에 통합하기 위해.
• 실세계 그래프 데이터셋에서 신뢰도, 시각화 거리, 1-NN 정확도 지표를 사용하여 방법의 효과성을 평가하기 위해.
• 가중 손실 조합을 통한 그래프 및 특징 군집화 간 최적 균형을 도출하고, 복합 지표 성능을 바탕으로 α∗를 선택하기 위해.

제안 방법

• GraphTSNE는 고차원 노드 특징 X와 그래프 구조 G로부터 저차원 임bedding Y를 학습하기 위해 이중층 잔차 게이팅 GCN을 사용한다.
• 모델은 두 개의 하위손실로 구성된 수정된 t-SNE 손실을 사용하여 훈련된다: 최단경로 거리 DG 기반의 그래프 군집화 손실 CG와 유클리드 거리 DX 기반의 특징 군집화 손실 CX.
• 총 손실는 CT = αCG + (1−α)CX로 표현되며, 여기서 α는 그래프 구조 유지와 특징 유사도 유지 간의 트레이드오���을 제어한다.
• 최적의 α∗는 검증 전략(클래스 레이블 없음)을 사용하여 복합 거리 지표(PG + PX)를 최소화하거나 1-NN 일반화 정확도를 최대화함으로써 도출된다.
• 계산 비용을 줄이기 위해 훈련 중에 이웃 샘플링(NS)을 적용하여 각 노드의 수신 영역이 150이 되도록 미니배치 확률적 경사 하강법을 구현한다.
• 이 방법은 인덕티브 설계를 통해 향후 동적 또는 더 큰 그래프로의 확장이 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 시각화 기법이 저차원 임베딩에서 그래프 구조와 노드 특징을 효과적으로 동시에 유지할 수 있는가?
• RQ2 그래프 군집화와 특징 군집화 간 균형이 시각화 품질과 후속 성능에 미치는 영향은 어떠한가?
• RQ3 t-SNE 프레임워크 내에서 그래프 이론적 거리와 특징 기반 거리를 통합하면 기존 방법보다 더 나은 군집화 및 구조 유지 성능를 달성할 수 있는가?
• RQ4 다양한 평가 지표를 종합적으로 고려할 때 최적의 트레이드오프 초매개변수 α는 무엇인가?
• RQ5 GraphTSNE는 고차원 특징을 갖는 그래프 구조 데이터셋에서 t-SNE와 tsNET을 능가하는 성능을 달성할 수 있는가?

주요 결과

• GraphTSNE는 고차원 노드 특징을 갖는 CORA, Citeseer, Pubmed 인용 네트워크에서 그래프 구조와 노드 특징을 함께 모델링함으로써 뛰어난 시각화 품질을 달성한다.
• 최적의 α∗에서 GraphTSNE는 Citeseer에서 복합 거리 지표(PG + PX)가 1.421, Cora에서 1.920, Pubmed에서 0.902를 기록하여 그래프 및 특징 관계의 강력한 유지가 확인되었다.
• α∗에서 1-NN 일반화 정확도는 Pubmed에서 0.750, Cora에서 0.775에 도달하여 분류 분리성 향상이 확인되었다.
• qualitative 비교를 통해 α∗에서의 시각화 결과는 순수 t-SNE(α=0)와 순수 그래프 군집화(α=1)에 비해 더 나은 클래스 분리 및 구조적 충실도를 보였다.
• 신뢰도 및 시각화 거리 지표에서 GraphTSNE는 t-SNE와 tsNET을 모두 능가하여 국소적 및 전역적 데이터 구조 유지 능력이 입증되었다.
• 이웃 샘플링의 사용은 O(N²) 복잡도로 효율적인 훈련을 가능하게 하였으며, 향후 트리 기반 근사 기법을 통해 O(N log N)으로 확장할 계획이다.