[논문 리뷰] Learning Graph Representations with Embedding Propagation

Alberto García-Durán, Mathias Niepert|arXiv (Cornell University)|2017. 10. 09.

Advanced Graph Neural Networks참고 문헌 33인용 수 75

한 줄 요약

논문은 라벨 기반 메시지를 이웃 노드 간에 전달하고 라벨 임베딩을 재구성하여 노드 표현을 업데이트하는 비지도 프레임워크 Embedding Propagation (Ep)을 소개합니다. 간단한 Ep 인스턴스인 Ep-B는 매개변수와 하이퍼파라미터가 적은 파라미터로 여러 그래프 벤치마크에서 경쟁력 있거나 더 우수한 성능을 달성합니다.

ABSTRACT

We propose Embedding Propagation (EP), an unsupervised learning framework for graph-structured data. EP learns vector representations of graphs by passing two types of messages between neighboring nodes. Forward messages consist of label representations such as representations of words and other attributes associated with the nodes. Backward messages consist of gradients that result from aggregating the label representations and applying a reconstruction loss. Node representations are finally computed from the representation of their labels. With significantly fewer parameters and hyperparameters an instance of EP is competitive with and often outperforms state of the art unsupervised and semi-supervised learning methods on a range of benchmark data sets.

연구 동기 및 목표

• 소셜 네트워크와 생물정보학과 같은 도메인에서 그래프 구조 데이터에 대한 비지도 학습의 필요성과 동기를 제시한다.
• 이웃 간 라벨 임베딩을 교환하여 노드 표현을 학습하기 위해 Embedding Propagation (Ep)을 제안한다.
• 재구성 손실로부터의 기울기 신호를 통해 라벨 임베딩을 갱신하는 재구성 기반 학습을 가능하게 한다.
• 간단한 평균 집계기와 마진 기반 순위 손실을 활용한 구체적인 Ep-B 인스턴스를 제시하여 효과를 입증한다.

제안 방법

• 각 유형의 노드 라벨을 미분가능한 함수 f_i로 임베딩하여 라벨 임베딩을 얻는다.
• 이웃 라벨 임베딩으로부터 함수 g_i를 통해 라벨 임베딩을 집계하여 정점 임베딩을 계산하고, 이들을 ~g_i 로 재구성한다.
• 모든 라벨 유형에 걸친 재구성 손실을 최소화하여 현재의 라벨 임베딩과 재구성된 임베딩을 일치시킨다.
• 자신의 임베딩에 비해 다른 이의 임베딩에 closer reconstruction 되도록 노드의 라벨이 자신의 임베딩에 더 가깝게 재구성되도록 마진 기반 순위 손실을 사용한다.
• 유형별 라벨 임베딩을 연결(concatenate)하여 다운스트림 작업에 사용되는 노드 표현을 형성한다.

실험 결과

연구 질문

• RQ1 비지도 임베딩 프로파게이션이 감독 라벨 없이도 경쟁력 있는 그래프 표현을 학습할 수 있는가?
• RQ2 다중 유형의 노드 라벨(예: 단어, ID, 속성)을 그래프 전반에 걸쳐 얼마나 효과적으로 통합하고 전파할 수 있는가?
• RQ3 간단한 평균화와 마진 손실을 갖춘 Ep-B가 실제 그래프에 규모 확장이 가능하고 귀납 학습을 지원하는가?

주요 결과

• Ep-B는 BlogCatalog, POS, PPI에서 전이(transductive) 설정과 귀납적 설정 모두에서 Micro F1 및 Macro F1 점수 최고 또는 근접 최고를 달성한다.
• Ep-B는 여러 데이터셋에서 DeepWalk, Node2vec, LINE, wvRN 등 기초 방법들을 지속적으로 능가하며 파라미터와 하이퍼파라미터가 더 적다.
• 엣지가 방향성이 있거나 그래프에 여러 라벨 유형과 속성 정보가 있을 때도 Ep-B는 여전히 효과적이다.
• 임베딩 시각화는 Ep-B가 여러 라벨 유형을 효과적으로 결합해 분리 가능한 클러스터를 형성함을 보여준다.
• Ep 표현은 재학습 없이 보이지 않는 노드의 라벨 임베딩을 재구성함으로써 귀납적 일반화를 지원한다.