[논문 리뷰] Multi-Task Graph Autoencoders

Phi Vu Tran|arXiv (Cornell University)|2018. 11. 07.

Advanced Graph Neural Networks참고 문헌 4인용 수 21

한 줄 요약

이 논문은 공유 파라미터를 사용하여 비지도 링크 예측과 준지도 노드 분류를 동시에 학습하는 대칭적이고 엔드 투 엔드의 딥 오토에인코드 아키텍처인 멀티태스크 그래프 오토에인코드(MTGAE)를 제안한다. 이 모델은 다섯 개인 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여, 특히 낮은 레이블 비율 설정에서 링크 예측(AUC/AP)과 노드 분류 정확도 모두에서 강력한 베이스라인을 능가한다.

ABSTRACT

We examine two fundamental tasks associated with graph representation learning: link prediction and node classification. We present a new autoencoder architecture capable of learning a joint representation of local graph structure and available node features for the simultaneous multi-task learning of unsupervised link prediction and semi-supervised node classification. Our simple, yet effective and versatile model is efficiently trained end-to-end in a single stage, whereas previous related deep graph embedding methods require multiple training steps that are difficult to optimize. We provide an empirical evaluation of our model on five benchmark relational, graph-structured datasets and demonstrate significant improvement over three strong baselines for graph representation learning. Reference code and data are available at https://github.com/vuptran/graph-representation-learning

연구 동기 및 목표

• 레이블이 희박하고 독립적이고 동일하게 분포된 가정(i.i.d.)을 위반하는 관계적이고 그래프 구조를 가진 데이터에서 효과적인 노드 표현을 학습하는 데 도전하는 것.
• 다중 훈련 단계 없이 동시에 비지도 링크 예측과 준지도 노드 분류를 수행할 수 있는 통합된 엔드 투 엔드 딥 러닝 프레임워크를 개발하는 것.
• 그래프 오토에인코드에서 파라미터 공유와 대칭형 인코더-디코더 아키텍처를 통해 일반화 능력과 표현 능력을 향상시키는 것.
• 높은 간선 희박성과 낮은 레이블 가용성 조건을 포함한 현실적인 조건에서 모델의 강건성과 성능을 평가하는 것.

제안 방법

• MTGAE는 두 개의 인코더 레이어와 두 개의 디코더 레이어를 가진 사층형 오토에인코드로 구성되며, ReLU 활성화 함수를 적용하고 인코더와 디코더 구성 요소 간에 파라미터 공유를 통해 파라미터 수를 줄이고 일반화 능력을 향상시킨다.
• 노드 임베딩은 비선형 변환을 통해 학습되며, $\mathbf{z}_i = \text{ReLU}(\mathbf{W} \cdot \text{ReLU}(\mathbf{V} \mathbf{a}_i + \mathbf{b}^{(1)}) + \mathbf{b}^{(2)})$로 표현되며, 이후 복원(reconstruction) $\hat{\mathbf{a}}_i = \mathbf{V}^T \cdot \text{ReLU}(\mathbf{W}^T \mathbf{z}_i + \mathbf{b}^{(3)}) + \mathbf{b}^{(4)}$이 수행된다.
• 모델은 고정된 학습률 0.001, 미니배치 크기 64, 100 에포크로 Adam 최적화를 사용해 엔드 투 엔드로 훈련되며, 조기 정지와 드롭아웃을 통해 정규화를 실시한다.
• 노드 특징 $\mathbf{X}$ 는 인접성 벡터 $\mathbf{a}_i$ 와 결합되어 $\mathbf{\bar{a}}_i$ 를 형성하며, 이는 구조적 정보와 특징 정보를 함께 사용할 수 있도록 한다.
• 각 ReLU 레이어 이후 평균-분산 정규화를 적용하여 훈련을 안정화시키고 희박한 그래프에서의 성능을 향상시킨다.
• 모델은 표준 분할을 사용한 다섯 개의 벤치마크 데이터셋에서 평가되며, 링크 예측을 위해 양성 간선의 10%와 동일한 수의 음성 간선이 마스킹되고, 노드 분류를 위해 클래스당 20개의 레이블된 예제가 사용된다.

실험 결과

연구 질문

• RQ1 단일의 대칭형 오토에인코드 아키텍처가 멀티태스크 학습 환경에서 링크 예측과 노드 분류를 동시에 효과적으로 수행할 수 있는가?
• RQ2 대칭형 오토에인코드 아키텍처에서의 파라미터 공유가 그래프 구조 데이터에서 표현 학습과 일반화 능력을 어떻게 향상시키는가?
• RQ3 MTGAE 모델이 낮은 레이블 비율과 높은 간선 희박성 조건에서 링크 예측과 노드 분류에서 전용 태스크 베이스라인을 능가하는가?
• RQ4 간선이 무작위로 제거되었을 때, MTGAE의 복원 성능은 SDNE와 같은 기존 오토에인코드 기반 방법과 비교해 어떻게 되는가?

주요 결과

• Cora와 Citeseer 데이터셋에서 MTGAE는 각각 AUC/AP 점수 0.946과 0.949를 기록하여 최고의 VGAE 베이스라인을 능가한다.
• 노드 분류 작업에서 MTGAE는 Cora에서 79.0%의 정확도, Citeseer에서 71.8%, Pubmed에서 80.4%의 정확도를 달성하여 낮은 레이블 비율 데이터셋에서 GCN과 Planetoid 베이스라인을 초월한다.
• 네트워크 복원 작업에서 MTGAE는 Arxiv-GRQC와 BlogCatalog 양쪽 모두에서 SDNE보다 높은 precision@k 성능을 기록하며, 간선의 최대 80%가 손실된 경우에도 특히 뛰어난 성능을 보였다.
• Arxiv-GRQC에서 MTGAE는 k=10,000까지 SDNE를 능가했고, BlogCatalog에서는 k=100,000까지도 우수한 성능을 유지했으며, 이는 80%의 간선 제거 조건에서도 성능이 떨어지지 않았음을 시사한다.
• ReLU 레이어 이후 평균-분산 정규화의 적용은 활성화를 안정화시키고 훈련과 테스트 간의 분포 이탈을 상쇄함으로써 링크 예측 성능을 향상시켰다.
• 모델는 간선 희박성에 대해 매우 강건하며, 간선의 80%가 무작위로 마스킹된 상태에서도 높은 성능을 유지하여 강력한 일반화 능력과 표현 능력을 보였다.