[논문 리뷰] Modeling homophily and stochastic equivalence in symmetric relational data

Peter D. Hoff|ArXiv.org|2007. 11. 07.

Bayesian Modeling and Causal Inference참고 문헌 8인용 수 212

한 줄 요약

이 논문은 대칭적 관계 데이터를 위한 잠재변수 프레임워크인 이 Structural 모델(eigenmodel)을 제안한다. 이 모델은 노드별 잠재 벡터의 가중 내적 형태로 관계를 모델링함으로써 잠재 클래스 모델과 거리 모델을 일반화한다. 이론적으로도 실험적으로도 이 모델은 동질성(homophily)과 확률적 동치성(stochastic equivalence)을 모두 포착하며, 친구 관계 네트워크, 성경의 단어 인접성, 단백질-단백질 상호작용이라는 세 가지 실세계 데이터셋에서 기존 모델보다 예측 정확도가 뛰어나다는 것을 입증한다.

ABSTRACT

This article discusses a latent variable model for inference and prediction of symmetric relational data. The model, based on the idea of the eigenvalue decomposition, represents the relationship between two nodes as the weighted inner-product of node-specific vectors of latent characteristics. This ``eigenmodel'' generalizes other popular latent variable models, such as latent class and distance models: It is shown mathematically that any latent class or distance model has a representation as an eigenmodel, but not vice-versa. The practical implications of this are examined in the context of three real datasets, for which the eigenmodel has as good or better out-of-sample predictive performance than the other two models.

연구 동기 및 목표

• 대칭적 관계 데이터에서 동질성과 확률적 동치성을 동시에 포착할 수 있는 통합된 통계 모델을 개발하는 것.
• 특히 잠재 클래스 모델과 거리 모델을 하나의 프레임워크 안에서 일반화하는 것.
• 실세계 데이터셋에서 기존 모델보다 더 뛰어난 검증 예측 성능을 보이는 이 Structural 모델(eigenmodel)을 입증하는 것.
• 이론적으로 잠재 클래스 모델이나 거리 모델이 모두 이 Structural 모델(eigenmodel)의 특수한 경우로 표현될 수 있지만, 그 반대는 성립하지 않음을 보여주는 것.
• 고유값 분해를 이용한 저랭크 근사로 사회행동행렬 데이터를 다루어 더 나은 해석 가능성과 추론 능력을 확보하는 것.

제안 방법

• 이 Structural 모델(eigenmodel)은 노드 i와 j 간의 관계를 y_ij = β'x_ij + u_i^TΛu_j로 표현하며, 여기서 u_i와 u_j는 잠재 벡터이고, Λ는 고유값으로 이루어진 대각행렬이다.
• 사회행동행렬의 고유값 분해를 통해 관계 데이터의 변동성을 포착하는 저랭크 잠재 구조를 추출한다.
• 이진 또는 카운트 값의 관계 데이터에 대해 이 Structural 모델(eigenmodel)을 비정규 분포 데이터에 적용하기 위해 순서형 프로비트 우도를 사용한다.
• 잠재 벡터와 모델 파라미터에 대한 사후 추론을 위해 마르코프 체인 몽테카를로(MCMC) 방법을 사용한다.
• 모델 비교는 교차검증을 통해 수행되며, 검증 예측 성능을 기준으로 한다.
• 이 Structural 모델(eigenmodel)은 잠재 클래스 모델과 거리 모델을 모두 일반화하며, 이러한 모든 모델이 이 Structural 모델(eigenmodel)의 특수한 경우로 표현될 수 있다.

실험 결과

연구 질문

• RQ1 단일 잠재변수 모델이 대칭적 관계 데이터에서 동질성과 확률적 동치성을 동시에 표현할 수 있는가?
• RQ2 실세계 데이터셋에서 이 Structural 모델(eigenmodel)의 예측 성능가 장기 클래스 모델과 거리 모델에 비해 어떻게 비교되는가?
• RQ3 이 Structural 모델(eigenmodel)과 기존의 잠재 클래스 모델, 거리 모델 간의 수학적 관계는 무엇인가?
• RQ4 기존 모델보다 더 유연하고 정확한 복잡한 네트워크 구조의 표현이 가능한가?
• RQ5 이 Structural 모델(eigenmodel)이 동질성과 확률적 동치성을 동시에 포착할 수 있다는 점이 검증 예측 성능 향상에 기여하는가?

주요 결과

• 분석한 세 가지 실세계 데이터셋(친구 관계 네트워크, 성경의 단어 인접성, 단백질-단백질 상호작용)에서 이 Structural 모델(eigenmodel)은 잠재 클래스 모델과 거리 모델을 모두 초월하는 검증 예측 성능을 보였다.
• 친구 관계 네트워크 데이터에서는 이 Structural 모델(eigenmodel)과 거리 모델이 가장 뛰어난 성능을 보였고, 잠재 클래스 모델은 K를 늘려도 성능이 떨어졌다.
• 성경의 관계적 텍스트 데이터에서는 잠재 클래스 모델이 거리 모델을 앞섰고, 이 Structural 모델(eigenmodel)은 잠재 클래스 모델과 동일한 성능를 보였다. 이는 단어 간 인접성이 공간적 근접성보다 클래스 기반 관계에 의해 더 잘 설명된다는 주장을 뒷받침한다.
• 단백질-단백질 상호작용 데이터에서는 K=3일 때 이 Structural 모델(eigenmodel)이 모든 K 값에서 잠재 클래스 모델과 거리 모델을 모두 앞섰다. 이는 이 모델이 허브 구조와 전이 삼각형을 동시에 잘 포착할 수 있음을 시사한다.
• 이론적 유도 결과로, 모든 잠재 클래스 모델과 거리 모델은 이 Structural 모델(eigenmodel)의 특수한 경우로 표현될 수 있지만, 그 반대는 성립하지 않음을 확인하여 이 모델의 일반성과 유연성을 입증하였다.
• 이 Structural 모델(eigenmodel)이 고유값 분해를 통한 저랭크 근사를 사용함으로써, 군집 구조나 공간적 임bedding에 대한 사전 가정 없이도 복잡한 관계 패턴을 다소 자유롭게 표현할 수 있다.