[논문 리뷰] Discriminative Nonparametric Latent Feature Relational Models with Data Augmentation

Bei Chen, Ning Chen외 3명|arXiv (Cornell University)|2015. 12. 07.

Bayesian Methods and Mixture Models참고 문헌 32인용 수 3

한 줄 요약

이 논문은 데이터 증강과 깁스 샘플링을 활용하여 알려지지 않은 잠재 기능 차원 수를 가진 대규모 네트워크에서 확장 가능하고 엔드 투 엔드로 링크 예측을 가능하게 하는 분류적 비모수 잠재 기능 관계 모델(DLFRM)을 제안한다. 정규화된 베이지안 추론을 로지스틱 손실과 허프 손실 모두에 통합함으로써 클래스 불균형을 다루고, 수십만 개의 실체와 수백만 개의 링크를 가진 실제 네트워크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a discriminative nonparametric latent feature relational model (LFRM) for link prediction to automatically infer the dimensionality of latent features. Under the generic RegBayes (regularized Bayesian inference) framework, we handily incorporate the prediction loss with probabilistic inference of a Bayesian model; set distinct regularization parameters for different types of links to handle the imbalance issue in real networks; and unify the analysis of both the smooth logistic log-loss and the piecewise linear hinge loss. For the nonconjugate posterior inference, we present a simple Gibbs sampler via data augmentation, without making restricting assumptions as done in variational methods. We further develop an approximate sampler using stochastic gradient Langevin dynamics to handle large networks with hundreds of thousands of entities and millions of links, orders of magnitude larger than what existing LFRM models can process. Extensive studies on various real networks show promising performance.

연구 동기 및 목표

• 모델 선택이나 고정된 K에 의존하지 않고, 링크 예측에서 알려지지 않은 잠재 기능 차원 수 문제를 해결한다.
• 양성 및 음성 링크에 별개의 정규화 파rameter를 할당하여 실세계 네트워크의 클래스 불균형을 다룬다.
• 단일 정규화된 베이지안 추론 프레임워크 내에서 부드러운 로지스틱 로그 손실과 비부드러운 허프 손실의 분석을 통합한다.
• 변분 방법의 제약 조건이 없는 가정을 피하기 위해 데이터 증강을 통한 효율적인 깁스 샘플러를 개발한다.
• 스토하스틱 그래디언트 랭글린 다이내믹스(SGLD)를 사용하여 대규모 네트워크로의 확장성을 확보한다.

제안 방법

• 예측 손실과 사후 추론을 결합하기 위해 RegBayes 프레임워크를 활용해 링크 예측을 분류적 베이지안 모델로 공식화한다.
• 비공액 사후 추론을 조건부 공액 형태로 변환하기 위해 데이터 증강을 적용하여 단순한 깁스 샘플링을 가능하게 한다.
• 잠재 기능에 대한 비모수적 사전분포로 인디안 버펫 프로세스(IBP)를 사용하여 기능 차원 수의 자동 탐색을 가능하게 한다.
• 양성 링크와 음성 링크에 별개의 정규화 파rameter인 $c^+$와 $c^-$를 도입하여 데이터 불균형 문제를 완화한다.
• SGLD를 활용한 스트로스틱 근사 깁스 샘플러를 개발하여 10만 명 이상의 실체와 100만 개 이상의 링크를 가진 네트워크로의 확장성을 확보한다.
• 정규화된 추론를 통해 로지스틱 로그 손실과 허프 손실을 동일한 프레임워크 내에서 통합한다.

실험 결과

연구 질문

• RQ1 비모수적 잠재 기능 모델은 사전 지정 없이도 올바른 잠재 기능 수를 자동으로 추론할 수 있는가?
• RQ2 실세계 네트워크에서 잠재 기능 모델의 링크 예측에 있어 클래스 불균형 문제를 효과적으로 다룰 수 있는가?
• RQ3 부드러운(로지스틱) 및 비부드러운(허프) 손실 함수가 단일 추론 프레임워크 내에서 통합될 수 있는가?
• RQ4 데이터 증강을 통해 제약 조건이 없는 평균장 또는 잘라내기 가정 없이 효율적이고 비단절리된 깁스 샘플링이 가능할 수 있는가?
• RQ5 제안된 방법은 수십만 명의 실체와 수백만 개의 링크를 가진 대규모 네트워크로 확장 가능한가?

주요 결과

• 데이터 증강과 깁스 샘플링을 적용한 제안된 DLFRM는 빠르고 안정적으로 수렴하며, 테스트 AUC가 150단계 이내의 버닝 단계 내에서 안정화된다.
• 정규화 파rameter $c^+ / c^-$를 10으로 설정할 경우, 동일한 정규화 대비 불균형 네트워크에서 AUC가 크게 향상되어 불균형 문제에 효과적으로 대응함을 입증한다.
• 모델은 독립적인 실행 간에 낮은 분산을 보이며 안정적인 잠재 기능 수를 자동으로 학습함으로써 초기화에 대한 강건성을 보인다.
• 스토하스틱 변형(stoDLFRM l)은 모든 데이터셋에서 최고의 AUC 성능을 달성하며, 접근 기반 방법 및 다른 LFRM 모두를 능가한다.
• 대각선 변형(diagDLFRM l)은 기능 차원 K에 대해 선형 스케일링을 보이며 훈련 시간을 크게 줄여 경쟁력 있는 성능을 달성한다.
• 이 방법은 최대 10만 명의 실체와 100만 개 이상의 링크를 가진 네트워크로 확장 가능하며, 이는 이전의 LFRM 모델이 처리할 수 있는 범위보다 수 개의 주기만큼 더 큰 규모이다.