[논문 리뷰] SaC2Vec: Information Network Representation with Structure and Content

Sambaran Bandyopadhyay, Harsh Kara외 2명|arXiv (Cornell University)|2018. 04. 27.

Advanced Graph Neural Networks참고 문헌 2인용 수 4

한 줄 요약

SaC2Vec는 네트워크 구조와 노드 컨텐츠를 동시에 모델링하기 위해 다층 그래프를 구성하는 새로운 비지도 네트워크 표현 학습 방법이다. 한 층은 구조를, 추가 층들은 텍스트, 이미지 등의 다양한 유형의 컨텐츠를 인코딩한다. 무작위 보행과 언어 모델링을 사용하여 저차원의 노드 임베딩을 생성하며, 실세계 데이터셋에서 노드 분류, 클러스터링, 시각화 작업에서 최신 기술 수준의 성능을 달성한다. 특히 노이즈가 있는 컨텐츠 층에 대해서도 뛰어난 내성성을 보인다.

ABSTRACT

Network representation learning (also known as information network embedding) has been the central piece of research in social and information network analysis for the last couple of years. An information network can be viewed as a linked structure of a set of entities. A set of linked web pages and documents, a set of users in a social network are common examples of information network. Network embedding learns low dimensional representations of the nodes, which can further be used for downstream network mining applications such as community detection or node clustering. Information network representation techniques traditionally use only the link structure of the network. But in real world networks, nodes come with additional content such as textual descriptions or associated images. This content is semantically correlated with the network structure and hence using the content along with the topological structure of the network can facilitate the overall network representation. In this paper, we propose Sac2Vec, a network representation technique that exploits both the structure and content. We convert the network into a multi-layered graph and use random walk and language modeling technique to generate the embedding of the nodes. Our approach is simple and computationally fast, yet able to use the content as a complement to structure and vice-versa. We also generalize the approach for networks having multiple types of content in each node. Experimental evaluations on four real world publicly available datasets show the merit of our approach compared to state-of-the-art algorithms in the domain.

연구 동기 및 목표

• 기존의 네트워크 임베딩 방법이 단지 구조적 구조에 의존하여 텍스트나 이미지와 같은 бог enriched한 노드 수준의 컨텐츠를 忽시하는 한계를 해결하기 위해.
• 구조적 정보와 의미적 정보를 통합하여 향상된 노드 표현을 위한 단순하고 효율적이며 비지도 방법을 개발하기 위해.
• 각 노드의 컨텐츠를 별도의 층으로 모델링하는 다층 그래프 프레임워크를 구축하여, 구조와 컨텐츠의 공동 학습을 가능하게 하기 위해.
• 다양한 네트워크 마이닝 작업에 대해 방법을 평가하고, 노이즈가 있거나 일관성 없는 컨텐츠에 대해 강건한 성능을 보임을 입증하기 위해.

제안 방법

• 다층 그래프 구축: 노드 간 간선으로 구성된 네트워크 구조를 담는 한 층과, 텍스트, 이미지 등 다양한 유형의 노드 컨텐츠를 담는 하나 이상의 추가 층을 구성한다.
• 다층 그래프에서의 무작위 보행을 수행하며, 구조 층에서 컨텐츠 층으로 또는 컨텐츠 층 간 전이가 가능하여 의미적 및 구조적 종속성을 포착한다.
• 무작위 보행 시퀀스에서 이웃 노드와 컨텐츠 토큰을 예측하기 위해 언어 모델링 목적(Word2Vec의 skip-gram 유사)을 사용하여 노드 임베딩을 학습한다.
• 각 컨텐츠 유형을 다층 그래프의 별도의 층으로 간주하여, 노드당 다수의 컨텐츠 유형을 처리할 수 있도록 모델을 일반화한다.
• 예측 목적의 음의 로그우도를 최적화하기 위해 확률적 경사 하강법을 사용하여 모델을 종단 간(end-to-end)으로 훈련한다.
• 하류 작업을 위해 구조 층과 컨텐츠 층의 임베딩을 연결(concatenation)하여 '부착 임베딩(Appended Embedding)'을 구성한다.

실험 결과

연구 질문

• RQ1 구조만을 고려하는 방법에 비해, 네트워크 구조와 노드 컨텐츠를 공동으로 모델링하는 것이 노드 임베딩의 품질을 향상시키는가?
• RQ2 제안된 다층 그래프 프레임워크는 다양한 유형의 이질적 컨텐츠(예: 텍스트, 이미지)를 구조적 구조와 효과적으로 통합하는 데 어떻게 기여하는가?
• RQ3 다른 다중모odal 방법들과 비교해 볼 때, 컨텐츠 층이 노이즈가 있거나 일관성이 없을 경우에도 SaC2Vec는 강력한 성능을 유지하는가?
• RQ4 다양한 네트워크 마이닝 작업에서 SaC2Vec의 성능은 DeepWalk, node2vec, TADW, GraphSAGE와 같은 최신 기술 수준 알고리즘과 비교해 어떻게 되는가?

주요 결과

• SaC2Vec는 Pubmed, Flickr, Cora 포함 네 개의 실세계 데이터셋에서 TADW와 AANE를 포함한 모든 베이스라인 알고리즘보다 노드 분류 및 클러스터링 작업에서 뛰어난 성능을 보였다.
• Pubmed 데이터셋에서 SaC2Vec는 구조 층 전용으로 node2vec를 적용한 성능과 유사한 결과를 달성하여, 노이즈가 있거나 일관성 없는 컨텐츠에 대한 강건성을 입증했다.
• 구조와 컨텐츠 임베딩을 연결한 '부착 임베딩' 버전이 Pubmed에서 최고의 성능을 기록하여, 두 모odal 간의 상호보완적 가치를 입증했다.
• ISOMAP를 사용한 네트워크 시각화에서 SaC2Vec는 노드를 명확한 커뮤니티로 분리하는 데 성공했지만, TADW와 AANE는 구조와 컨텐츠를 모두 사용했음에도 클래스를 구분하지 못했다.
• SaC2Vec는 컨텐츠 기반 모델인 TADW나 AANE가 성능을 저하시키는 경우에도 일관되게 뛰어난 성능을 보이며, 데이터 불일치에 대한 적응성과 내성성을 입증했다.
• 이 방법은 계산적으로 효율적이며 비지도 학습이므로, 레이블이 없는 데이터나 고성능 컴퓨팅 자원이 필요 없는 대규모 네트워크에 적합하다.