[논문 리뷰] ANAE: Learning Node Context Representation for Attributed Network Embedding

Keting Cen, Huawei Shen외 4명|arXiv (Cornell University)|2019. 06. 20.

Advanced Graph Neural Networks참고 문헌 62인용 수 6

한 줄 요약

이 논문은 각 노드 주변의 속성 부여된 국소 서브그래프를 모델링함으로써 노드 표현을 학습하는 새로운 속성 부여된 네트워크 오토인코더 프레임워크인 ANAE를 제안한다. 그래프 어텐션 네트워크를 사용한 인코더-디코더 아키텍처를 통해 ANAE는 구조와 속성 양쪽에서의 맥락 정보를 포착하여 여러 실생활 데이터셋에서 노드 분류 및 링크 예측 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Attributed network embedding aims to learn low-dimensional node representations from both network structure and node attributes. Existing methods can be categorized into two groups: (1) the first group learns two separated node representations from network structure and node attribute respectively and concatenates them together; (2) the other group obtains node representations by translating node attributes into network structure or vice versa. However, both groups have their drawbacks. The first group neglects the correlation between network structure and node attributes, while the second group assumes strong dependence between these two types of information. In this paper, we address attributed network embedding from a novel perspective, i.e., learning node context representation for each node via modeling its attributed local subgraph. To achieve this goal, we propose a novel attributed network auto-encoder framework, namely ANAE. For a target node, ANAE first aggregates the attribute information from its attributed local subgraph, obtaining its low-dimensional representation. Next, ANAE diffuses the representation of the target node to nodes in its local subgraph to reconstruct their attributes. Such an encoder-decoder framework allows the learned representations to better preserve the context information manifested in both network structure and node attributes, thus having high capacity to learn good node representations for attributed network. Extensive experimental results on real-world datasets demonstrate that the proposed framework outperforms the state-of-the-art approaches at the tasks of link prediction and node classification.

연구 동기 및 목표

• 기존의 속성 부여된 네트워크 임베딩 방법이 구조와 속성 간 상관관계를 간과하거나 강한 종속성을 가정하는 등의 한계를 해결하기 위해.
• 각 노드의 속성 부여된 국소 서브그래프를 맥락으로 모델링함으로써 속성 부여된 네트워크 임베딩에 새로운 시각을 제안하기 위해.
• 노드 표현에 구조적 정보와 속성 정보를 동시에 유지하는 유연한 오토인코더 프레임워크를 개발하기 위해.
• 맥락 복원을 통한 표현 학습이 노드 분류 및 링크 예측과 같은 후속 작업에서 더 나은 성능을 내는지 검증하기 위해.

제안 방법

• ANAE는 각 노드의 맥락을 그 노드를 중심으로 하는 속성 부여된 국소 서브그래프로 정의한다.
• 그래프 맥락 인코더는 그래프 어텐션 네트워크(GAT)를 사용해 이웃 노드의 속성 정보를 집계하여 저차원 노드 표현을 생성한다.
• 그래프 맥락 디코더는 대상 노드의 표현을 이웃 노드로 확산시어 원래의 속성을 복원한다.
• 모델은 재구성 손실을 사용하여 훈련되며, 이는 학습된 표현이 국소 맥락을 복원할 수 있음을 보장한다.
• 인코더와 디코더의 어텐션 메커니즘은 구조적 및 속성적 근접도에 따라 이웃 노드에 대한 가중치를 적응적으로 조정한다.
• 모델은 GAT을 빌딩 블록으로 사용하여 맥락 인식 노드 임베딩의 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 노드의 속성 부여된 국소 서브그래프를 맥락으로 모델링하는 것이 속성 부여된 네트워크에서 노드 표현 학습에 더 나은 성능을 이끌 수 있는가?
• RQ2 구조와 속성 임베딩을 연결하거나 상호 변환하는 기존 방법들과 비교해 ANAE 프레임워크는 어떻게 성능을 내는가?
• RQ3 어떤 기여를 하는가? 어텐션 메커니즘이 맥락 표현을 위한 관련 이웃을 포착하는 데에.
• RQ4 오토인코더 재구성 목표가 구조적 및 속성적 정보의 맥락 정보를 유지하는 데 얼마나 효과적인가?
• RQ5 디코더가 이웃 노드의 속성을 복원하는 역할이 학습된 노드 표현의 품질을 향상시키는가?

주요 결과

• ANAE는 Cora, Citeseer, Wiki, PubMed의 네 개의 실생활 속성 부여된 네트워크에서 노드 분류 및 링크 예측 작업에서 항상 최신 기술 수준(SOTA) 방법을 능가한다.
• 제거 분석 결과, ANAE-GCN(모 bord edge 기반 집계 사용)은 ANAE보다 성능이 열 劣하므로 어侁션 기반 이웃 가중치가 더 관련 있는 맥락을 포착함으로써 성능 향상을 이룬다.
• ANAE-MLP(디코더에 완전 연결 계층 사용)는 ANAE보다 성능이 열 劣하므로 디코더에서의 그래프 어텐션은 효과적인 맥락 복원에 필수적임을 입증한다.
• 은닉 차원이 64일 때 모델은 최적의 성능을 달성하며, 대부분의 데이터셋에서 이 이상일 경우 성능이 포화되거나 약간 감소한다.
• t-SNE 시각화 결과, ANAE는 DeepWalk, TADW, GAE에 비해 더 구분력 있고 잘 분리된 표현을 학습함을 확인한다.
• 결과적으로, 노드 맥락을 속성 부여된 국소 서브그래프로 모델링하고 재구성 기반 훈련을 사용하는 것이 더 견고하고 정보량이 풍부한 노드 임베딩을 이끌어낸다.