[논문 리뷰] FSCNMF: Fusing Structure and Content via Non-negative Matrix Factorization for Embedding Information Networks

Sambaran Bandyopadhyay, Harsh Kara외 2명|arXiv (Cornell University)|2018. 04. 15.

Advanced Graph Neural Networks참고 문헌 34인용 수 13

한 줄 요약

이 논문은 네트워크 구조와 노드 컨텐츠를 융합하여 상호 정규화를 사용해 의미 일관성을 향상시키며, 저차원 노드 임베딩을 공동으로 학습하는 비음수 행렬 분해 프레임워크인 FSCNMF를 제안한다. 제안된 방법은 기존 최고 수준의 기준 대비 실제 네트워크에서 노드 클러스터링, 시각화, 다중 분류 작업에서 성능을 크게 향상시킨다.

ABSTRACT

Analysis and visualization of an information network can be facilitated better using an appropriate embedding of the network. Network embedding learns a compact low-dimensional vector representation for each node of the network, and uses this lower dimensional representation for different network analysis tasks. Only the structure of the network is considered by a majority of the current embedding algorithms. However, some content is associated with each node, in most of the practical applications, which can help to understand the underlying semantics of the network. It is not straightforward to integrate the content of each node in the current state-of-the-art network embedding methods. In this paper, we propose a nonnegative matrix factorization based optimization framework, namely FSCNMF which considers both the network structure and the content of the nodes while learning a lower dimensional representation of each node in the network. Our approach systematically regularizes structure based on content and vice versa to exploit the consistency between the structure and content to the best possible extent. We further extend the basic FSCNMF to an advanced method, namely FSCNMF++ to capture the higher order proximities in the network. We conduct experiments on real world information networks for different types of machine learning applications such as node clustering, visualization, and multi-class classification. The results show that our method can represent the network significantly better than the state-of-the-art algorithms and improve the performance across all the applications that we consider.

연구 동기 및 목표

• 기존의 네트워크 임베딩 방법들이 노드 컨텐츠를 忽시함에도 불구하고, 이는 유용한 의미 정보를 담고 있음에도 불구하고 그러한 한계를 해결하고자 한다.
• 구조와 컨텐츠를 체계적으로 정규화하여 상호 일관성을 활용하는 통합된 비지도 학습 프레임워크를 개발하고자 한다.
• 저차원 임베딩 공간에서 구조와 컨텐츠를 공동 최적화하여 노드 표현 품질을 향상시키고자 한다.
• 프레임워크를 확장하여 고차원 근접도를 포착하고, 다양한 컨텐츠 유형(예: 텍스트, 이미지, 비디오)을 지원하도록 하고자 한다.

제안 방법

• FSCNMF는 비음수 행렬 분해(NMF)를 사용하여 두 가지 정규화된 임베딩을 학습한다: 네트워크 구조용(B₁)과 노드 컨텐츠용(U)이며, 상호 정규화를 적용한다.
• 목적 함수는 구조 및 컨텐츠에 대한 재구성 오차를 최소화하면서, B₁과 U 간의 유사성을 정규화 항을 통해 강제한다.
• 최종 임베딩은 정규화된 구조 및 컨텐츠 임베딩의 볼록 조합으로 구성된다: γ×B₁ + (1−γ)×U, 여기서 γ는 트레이드오프를 조절하는 가중치이다.
• FSCNMF++는 최적화 과정에 고차원 근접도 행렬을 통합하여 고차원 근접도를 포착하도록 확장한다.
• 컨텐츠 행렬 U를 다중모달 특징을 수용하도록 일반화함으로써, 이질적인 컨텐츠 유형을 지원한다.
• 계산 효율성을 확보하기 위해 다중 곱셈 업데이트 알고리즘을 활용해 빠른 업데이트 규칙을 유도한다.

실험 결과

연구 질문

• RQ1 NMF를 통해 네트워크 구조와 노드 컨텐츠를 공동 최적화하면, 구조만 고려하는 방법보다 더 나은 노드 임베딩을 얻을 수 있는가?
• RQ2 구조와 컨텐츠 간의 상호 정규화는 노드 표현의 분류 능력을 어떻게 향상시키는가?
• RQ3 다양한 실제 네트워크에서 구조적 정보와 컨텐츠 정보 사이의 최적의 균형은 무엇인가?
• RQ4 클러스터링, 분류, 시각화와 같은 다양한 작업에서 프레임워크의 성능은 어떠한가?
• RQ5 이 방법은 텍스트, 이미지, 비디오 등 다중 모odal 컨텐츠를 가진 네트워크로 일반화될 수 있는가?

주요 결과

• FSCNMF는 테스트된 모든 데이터셋에서 기존 최고 수준의 방법보다 노드 클러스터링 성능에서 뛰어나며, Citeseer, Wikipedia, Pubmed-Diabetes에서 뚜렷한 정확도 향상을 보였다.
• Citeseer 및 Wikipedia 데이터셋에서는 컨텐츠가 구조보다 더 유용한 정보를 제공했으며, 컨텐츠의 가중치를 더 높일 때 최적의 성능이 달성되었다.
• MSA 데이터셋의 경우 구조 정보가 더 유용했고, 임베딩 융합 과정에서 구조를 우선시할수록 성능 향상이 관찰되었다.
• FSCNMF++ 버전은 고차원 근접도를 효과적으로 포착하여 커뮤니티 탐지 및 노드 분류 작업에서 성능 향상을 이끌어냈다.
• 구조와 컨텐츠 간의 노이즈 및 일관성 부족 상황에서도 강인한 성능을 보였으며, 부분적인 불일치가 발생하는 경우 TADW보다 뛰어난 성능을 기록했다.
• FSCNMF 임베딩에 대한 스펙트럴 클러스터링은 다른 임베딩보다 더 빠른 속도로 수행되었으며, 이는 학습된 표현이 기반 중앙구조를 더 잘 반영하고 있음을 시사한다.