[논문 리뷰] Which way? Direction-Aware Attributed Graph Embedding

Zekarias T. Kefato, Nasrullah Sheikh외 1명|arXiv (Cornell University)|2020. 01. 30.

Advanced Graph Neural Networks참고 문헌 18인용 수 5

한 줄 요약

이 논문은 다중목표 손실 함수를 사용하여 간선 방향성, 노드 콘텐츠(비율-역빈도 또는 이진 특징을 통한), 그리고 무방향 이웃 구조를 동시에 최적화하는 새로운 방향성 인식, 텍스트 강화 그래프 임베딩 방법인 Diagram을 제안한다. 이는 Cora 및 Citeseer 데이터셋에서 노드 분류 성능을 유지하거나 초월하면서도 비대칭 링크 예측 및 네트워크 재구성에서 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

Graph embedding algorithms are used to efficiently represent (encode) a graph in a low-dimensional continuous vector space that preserves the most important properties of the graph. One aspect that is often overlooked is whether the graph is directed or not. Most studies ignore the directionality, so as to learn high-quality representations optimized for node classification. On the other hand, studies that capture directionality are usually effective on link prediction but do not perform well on other tasks. This preliminary study presents a novel text-enriched, direction-aware algorithm called DIAGRAM , based on a carefully designed multi-objective model to learn embeddings that preserve the direction of edges, textual features and graph context of nodes. As a result, our algorithm does not have to trade one property for another and jointly learns high-quality representations for multiple network analysis tasks. We empirically show that DIAGRAM significantly outperforms six state-of-the-art baselines, both direction-aware and oblivious ones,on link prediction and network reconstruction experiments using two popular datasets. It also achieves a comparable performance on node classification experiments against these baselines using the same datasets.

연구 동기 및 목표

• 그래프 임베딩에서 방향성 유지와 노드 유사성 간의 상충 관계를 해결하기 위해.
• 방향성 간선 흐름, 텍스트 기반 노드 특징, 무방향 이웃 맥락을 동시에 포괄하는 모델을 개발하기 위해.
• 특히 비대칭 링크 예측에 있어 성능을 향상시키되, 노드 분류 정확도를 희생시키지 않도록 하기 위해.
• 기존 방법들이 방향성에 민감하지 않거나 비선형 그래프 구조를 효과적으로 모델링하지 못하는 한계를 극복하기 위해.
• 노드 표현에서 방향성, 콘텐츠, 맥락이라는 세 가지 핵심 요소를 균형 있게 조율하는 다중목표 학습 프레임워크를 설계하기 위해.

제안 방법

• Diagram는 각 노드에 대해 세 가지 별도의 임베딩을 학습한다: $\mathbf{z_u}$ 는 무방향 이웃 및 콘텐츠 유사성에 대해, $\mathbf{o_u}$ 는 외부 이웃(출발)에 대해, $\mathbf{i_u}$ 는 내부 이웃(도착)에 대해.
• 모델은 다중목표 손실 함수를 사용하여 (1) $\texttt{dot}(\mathbf{o_u}, \mathbf{i_v})$ 를 통한 방향성 인식 유사성, (2) TF-IDF 또는 이진 특징을 통한 콘텐츠 유사성, (3) $\mathbf{M_u} \mid \mathbf{M^T_u}$ 를 통한 무방향 이웃 구조를 동시에 최적화한다.
• Diagram 노드는 각 노드에 대해 단일 공유 임베딩을 사용하지만, Diagram 엣지는 각 간선 방향에 대해 별도의 임베딩을 도입하여 비대칭 관계의 모델링을 향상시킨다.
• 일반화 성능 향상과 장거리 의존성 포착을 위해 잔차 그래프를 기반으로 확률적 경사 하강법을 사용해 엔드 투 엔드로 학습한다.
• 하류 작업의 입력 특징으로 노드 표현을 사용하며, 10겹 교차 검증 설정에서 노드 분류에 로지스틱 회귀를 적용한다.
• 특징 행렬 $\mathbf{D}$ 는 노드에 연결된 문서를 TF-IDF 또는 이진 인코딩을 통해 구성하여 텍스트 의미를 유지한다.

실험 결과

연구 질문

• RQ1 성능 저하 없이 그래프 임베딩 모델이 방향성, 텍스트 기반 노드 콘텐츠, 무방향 이웃 구조를 동시에 유지할 수 있는가?
• RQ2 방향성 인식 임베딩을 통합할 경우, 방향성 그래프에서 링크 예측 및 네트워크 재구성에 어떤 영향을 미치는가?
• RQ3 다중목표 학습 접근법이 최신 기술(SOTA) 기반 모델 대비 노드 분류 정확도 향상에 얼마나 기여하는가?
• RQ4 Diagram은 다양한 평가 작업에서 방향성 무관 및 방향성 인식 기반 기준 모델을 모두 초월하는가?
• RQ5 성능 안정성과 분산 측면에서 Diagram 노드와 Diagram 엣지 두 버전 간의 성능 차이는 어떠한가?

주요 결과

• Diagram는 Cora 및 Citeseer 데이터셋에서 비대칭 링크 예측 및 네트워크 재구성에서 여섯 개의 최신 기술(SOTA) 기준 모델을 뛰어넘는 성능을 보였다.
• Diagram 엣지는 W-L1 특징 구축 방법를 제외한 모든 경우에서 Diagram 노드보다 낮은 분산을 보이며 최고의 성능을 달성했다.
• 노드 분류에서는 Cora에서 50% 훈련 데이터 조건에서 Micro-F1 82%와 Macro-F1 80%를 기록하여 Node2Vec 및 DeepWalk과 같은 대부분의 기준 모델을 능가했다.
• Citeseer에서는 ANRL, DANE와 같은 최고 성능 기준 모델과 유사한 성능을 보였으며, VGAE 및 HOPE보다 높은 F1 점수를 기록했다.
• 모든 데이터셋과 작업에서 HOPE(방향성 인식 기준 모델)를 일관되게 능가하여, 행렬 분해 기반 기법 대비 깊이 있는 다중목표 아키텍처의 우수성을 입증했다.
• 링크 예측 성능 향상은 $\texttt{dot}(\mathbf{o_u}, \mathbf{i_v})$ 유사성 측정을 통한 비대칭 전이성 모델링 능력 덕분으로 기인한다.