[논문 리뷰] Leveraging Node Attributes for Incomplete Relational Data

He Zhao, Lan Du외 1명|arXiv (Cornell University)|2017. 06. 14.

Complex Network Analysis Techniques참고 문헌 27인용 수 19

한 줄 요약

이 논문은 이산적이고 불완전한 관계망에서 링크 예측과 커뮤니티 탐지 성능을 향상시키기 위해 이진 노드 속성을 활용하는 완전한 베이지안 포아송 인수분해 방법인 노드 속성 상관계모델(NARM)을 제안한다. 잠재 요인 할당에 대해 공액 감마 사전분포를 도입함으로써 NARM는 관측된 링크 수에 비례하는 선형 스피드로 효율적인 길리브 샘플링을 가능하게 하며, 데이터 부족 상황에서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Relational data are usually highly incomplete in practice, which inspires us to leverage side information to improve the performance of community detection and link prediction. This paper presents a Bayesian probabilistic approach that incorporates various kinds of node attributes encoded in binary form in relational models with Poisson likelihood. Our method works flexibly with both directed and undirected relational networks. The inference can be done by efficient Gibbs sampling which leverages sparsity of both networks and node attributes. Extensive experiments show that our models achieve the state-of-the-art link prediction results, especially with highly incomplete relational data.

연구 동기 및 목표

• 관측된 링크가 희박한 매우 불완전한 관계망에서 링크 예측과 커뮤니티 탐지 문제를 해결한다.
• 사용자 인구통계학적 정보나 논문 카테고리와 같은 다양한 노드 속성을 확률적 관계 모델에 통합하여 관계 데이터가 제한된 상황에서의 성능을 향상시킨다.
• 공액성과 네트워크 및 속성의 희박성을 활용하여 효율적 추론을 보장하는 확장 가능한 완전한 베이지안 프레임워크를 개발한다.
• 기존의 포아송 인수분해 모델을 확장하여 평탄하거나 계층적인 노드 속성을 가진 유 directed 및 undirected 네트워크를 모두 처리할 수 있도록 한다.
• 관계 데이터와 보조 정보 사이의 균형을 체계적으로 유지하기 위해, 링크 확률에 직접적으로 회귀하는 대신 잠재 요인 할당에 대한 사전 지식으로서 속성을 사용하는 방법을 제시한다.

제안 방법

• 비대칭 네트워크를 위한 Asym-NARM와 대칭 네트워크를 위한 Sym-NARM를 제안하며, 양자 모두 포아송-감마 공액 사전분포를 기반으로 하며, 무한 엣지 분할 모델(EPM)과 베타-감마-감마 포아송 인수분해(BGGPF)를 확장한다.
• 노드 속성을 이진 특성으로 모델링하고, 각 속성별 할당 계수 $ h_{l,k} $의 곱을 통해 감마 분포의 형태 매개변수 $ g_{i,k} $에 대한 초우선분포를 구성한다.
• 보조 정보를 계층적 사전분포를 통해 통합한다: $ g_{i,k} = b_k \prod_{l=1}^L h_{l,k}^{f_{i,l}} $, 여기서 $ f_{i,l} $는 노드 $ i $의 이진 속성이고, $ h_{l,k} $는 속성 $ l $ 이 요인 $ k $ 에 미치는 영향력을 조절한다.
• 비어 있지 않은 요소들만을 대상으로 하는 폐쇄형 길리브 샘플링을 통해 효율적 추론을 가능하게 하며, 이는 희박성 구조를 활용해 관측 링크 수에 비례하는 선형 확장성을 달성한다.
• 감마 함수의 오르는 계승을 중국 식당 과정을 통해 표현하는 보조 변수 $ t_{i,k} $ 를 도입하여 $ g_{i,k} $ 의 추정이 가능하게 한다.
• 계층적 속성을 확장하기 위해 전역 초우선분포 $ \mu_0 $ 를 속성 수준의 매개변수 $ \delta_{m,k}^{f'_{l,m}} $ 의 곱으로 대체함으로써 다중 수준의 속성 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존 모델이 실패하는 매우 불완전한 관계망에서 노드 속성이 링크 예측 성능을 크게 향상시킬 수 있는가?
• RQ2 공액성과 효율적 추론을 유지하면서 보조 정보를 베이지안 포아송 인수분해 모델에 어떻게 통합할 수 있는가?
• RQ3 다양한 속성이 잠재 커뮤니티 구조에 얼마나 기여하는가? 모델은 속성별 영향력 가중치를 자동으로 학습할 수 있는가?
• RQ4 제안된 방법은 특히 데이터 부족 또는 콜드 스타트 조건에서 기존 최신 기술 수준의 모델을 초월하는가?
• RQ5 모델은 평탄하거나 계층적인 노드 속성을 가진 유 directed 및 undirected 네트워크를 통합적이고 체계적인 프레임워크로 처리할 수 있는가?

주요 결과

• NARM는 다양한 벤치마크 데이터셋에서 높은 불완전성 조건에서도 최신 기술 수준의 링크 예측 성능을 달성한다.
• 노드 속성의 통합은 관측 링크가 없는 노드가 있는 콜드 스타트 시나리오에서 특히 뚜렷한 AUC 및 AUPR 향상을 이끌어낸다.
• 모델은 관측 링크 수와 속성의 희박성에 비례하여 선형적으로 확장되며, 대규모 희박 관계망에서도 효율적 추론이 가능하다.
• 속성 요인 할당 계수 $ h_{l,k} $ 는 어떤 속성이 관계 링크를 예측하는 데 가장 예측력 있는지 효과적으로 학습하며, 높은 값은 잠재 요인에 대한 강한 영향력을 나타낸다.
• 공액 사전분포와 보조 변수 증강을 통해 폐쇄형 길리브 샘플링이 가능해져 복잡한 MCMC 기법을 피하면서도 정확하고 효율적인 추론이 가능하다.
• 계층적 속성, 예를 들어 특허 네트워크의 IPC 코드와 같은 경우에도 모델은 우선분포의 구조를 다중 수준의 속성 계층으로 확장함으로써 잘 일반화된다.