[논문 리뷰] Inferring Latent Structure From Mixed Real and Categorical Relational Data

Esther Salazar, Matthew S. Cain외 3명|arXiv (Cornell University)|2012. 06. 27.

Bayesian Modeling and Causal Inference참고 문헌 27인용 수 6

한 줄 요약

이 논문은 실수형 및 범주형 속성을 모두 포함한 혼합된 관계형 데이터로부터 저차원 잠재 이진 특징을 추론하는 확률적 생성 모델을 제안한다. 낮은 질량의 공분산을 가진 다변수 정규분포를 통해 행과 열의 잠재 특징을 모델링하고, probit 연결을 적용함으로써 주제와 속성 간의 상관관계를 포착하여 이질적인 관계형 행렬에서의 잠재 구조를 공동으로 추론함으로써 해석 가능성과 예측 성능을 향상시킨다.

ABSTRACT

We consider analysis of relational data (a matrix), in which the rows correspond to subjects (e.g., people) and the columns correspond to attributes. The elements of the matrix may be a mix of real and categorical. Each subject and attribute is characterized by a latent binary feature vector, and an inferred matrix maps each row-column pair of binary feature vectors to an observed matrix element. The latent binary features of the rows are modeled via a multivariate Gaussian distribution with low-rank covariance matrix, and the Gaussian random variables are mapped to latent binary features via a probit link. The same type construction is applied jointly to the columns. The model infers latent, low-dimensional binary features associated with each row and each column, as well correlation structure between all rows and between all columns.

연구 동기 및 목표

• 혼합된 실수형 및 범주형 속성을 가진 관계형 데이터를 분석하는 데 도전하는 문제를 해결하기 위해 잠재 구조를 발견하는 것.
• 통합된 확률적 프레임워크를 사용하여 주제(행)와 속성(열)의 잠재 특징을 공동으로 모델링하는 것.
• 잠재 이진 특징에 대한 낮은 질량의 가우시안 사전를 통해 주제 간 및 속성 간의 상관관계를 포착하는 것.
• 후속 분석을 위한 저차원 해석 가능한 혼합형 관계형 데이터 표현을 가능하게 하는 것.
• 기존 방법에 비해 이질적 데이터 행렬에서의 예측 정확도와 구조 추론 성능을 향상시키는 것.

제안 방법

• 각 주제와 속성은 낮은 질량의 공분산 행렬을 가진 다변수 정규분포에서 추출된 잠재 이진 특징 벡터로 표현된다.
• 잠재 가우시안 변수는 probit 연결 함수를 통해 이진 특징으로 변환되어 이산적인 범주형 결과를 모델링한다.
• 관측된 행렬 원소는 잠재 이진 특징의 행-열 쌍을 관측된 데이터에 매핑하는 확률적 매핑 함수를 사용하여 생성된다.
• 모델은 모든 행과 열에 대한 잠재 특징을 공동으로 추론하여 양차원에 걸친 종속성을 동시에 포착한다.
• 잠재 변수의 사후분포를 근사하기 위해 변분 베이지안 접근법을 사용하여 추론를 수행한다.
• 공분산 행렬의 낮은 질량 구조는 잠재 특징의 저차원 표현을 보장하여 일반화 및 해석 가능성에 기여한다.

실험 결과

연구 질문

• RQ1 혼합된 실수형 및 범주형 관계형 데이터로부터 저차원 잠재 이진 특징을 공동으로 추론할 수 있는 방법은 무엇인가?
• RQ2 이질적 데이터에서 주제 간 및 속성 간의 상관관계를 포착하는 데 효과적인 확률 모델은 무엇인가?
• RQ3 잠재 이진 특징을 사용하여 관계형 행렬 내 실수형 및 범주형 변수의 공동 분포를 어떻게 모델링할 수 있는가?
• RQ4 잠재 특징에 낮은 질량의 가우시안 사전를 적용하면 혼합형 데이터에서 추론 성능과 해석 가능성에 어떤 영향을 미치는가?
• RQ5 제안된 모델은 기존 방법에 비해 혼합된 관계형 데이터에서 예측 정확도와 구조 탐색 능력 측면에서 어떻게 비교되는가?

주요 결과

• 모델은 혼합된 관계형 데이터 내에서 의미 있는 구조를 포착하는 저차원 잠재 이진 특징을 성공적으로 추론한다.
• 낮은 질량의 가우시안 사전의 사용은 주제와 속성 간의 상관관계를 유지하면서도 효율적이고 확장 가능한 추론을 가능하게 한다.
• probit 연결 변환은 연속적인 잠재 변수와 이산적인 범주형 결과 간의 관계를 효과적으로 모델링한다.
• 행과 열의 공동 모델링은 독립적 모델링 대비 결측치 예측 성능 향상과 구조 탐색 능력 향상에 기여한다.
• 기준 데이터셋에 대한 실험 결과는 모델이 관측된 데이터 재구성과 이해 가능한 잠재 패턴 탐색에서 기존 방법에 비해 뛰어난 성능을 보임을 입증한다.