[논문 리뷰] General Latent Feature Models for Heterogeneous Datasets

Isabel Valera, Melanie F. Pradier외 2명|arXiv (Cornell University)|2017. 06. 12.

Bayesian Methods and Mixture Models참고 문헌 26인용 수 16

한 줄 요약

이 논문은 이산형, 연속형, 카운트 변수가 혼합된 이질적 데이터셋을 위한 일반적인 베이지안 비모수 잠재 특징 모델(GLFM)을 제안한다. 의사관측값과 변환 함수를 도입함으로써 GLFM는 인디안 빵가게 과정(IBP)을 확장하여 공액성을 유지하고 선형 시간 복잡도의 추론을 가능하게 하여 실제 데이터에서 정확한 결측치 보정과 해석 가능한 패턴 탐색을 달성한다.

ABSTRACT

Latent feature modeling allows capturing the latent structure responsible for generating the observed properties of a set of objects. It is often used to make predictions either for new values of interest or missing information in the original data, as well as to perform data exploratory analysis. However, although there is an extensive literature on latent feature models for homogeneous datasets, where all the attributes that describe each object are of the same (continuous or discrete) nature, there is a lack of work on latent feature modeling for heterogeneous databases. In this paper, we introduce a general Bayesian nonparametric latent feature model suitable for heterogeneous datasets, where the attributes describing each object can be either discrete, continuous or mixed variables. The proposed model presents several important properties. First, it accounts for heterogeneous data while keeping the properties of conjugate models, which allow us to infer the model in linear time with respect to the number of objects and attributes. Second, its Bayesian nonparametric nature allows us to automatically infer the model complexity from the data, i.e., the number of features necessary to capture the latent structure in the data. Third, the latent features in the model are binary-valued variables, easing the interpretability of the obtained latent features in data exploratory analysis. We show the flexibility of the proposed model by solving both prediction and data analysis tasks on several real-world datasets. Moreover, a software package of the GLFM is publicly available for other researcher to use and improve it.

연구 동기 및 목표

• 이산형, 연속형, 혼합 속성을 가진 이질적 데이터셋을 위한 잠재 특징 모델의 부족을 해결한다.
• 비모수 사전분포를 사용하여 데이터로부터 모델 복잡도(잠재 특징 수)를 자동으로 추론할 수 있도록 한다.
• 이질적 데이터 유형에도 불구하고 계산 효율성과 공액성 특성을 유지한다.
• 효과적인 탐색적 데이터 분석을 위해 해석 가능한 이진값을 가지는 잠재 특징 표현을 제공한다.
• 다양한 연구 분야에서 실용적으로 사용할 수 있도록 공개된 소프트웨어 툴박스를 개발한다.

제안 방법

• 보조 실수형 의사관측값을 도입하여 인디안 빵가게 과정(IBP)을 이질적 데이터로 확장한다.
• 각 속성의 우도를 의사관측값에서 실제 데이터 공간으로 매핑하는 변환 함수를 사용하여 모델링한다(예: 정규분포, 다항분포, 포isson분포).
• 의사관측값이 주어졌을 때 조건부 사후분포가 지수족 분포에 유지되도록 공액성을 확보한다.
• 객체와 속성의 수에 대해 선형 시간 복잡도를 가지는 복합된 게비스 샘플링 추론 알고리즘을 유도한다.
• 비모수 사전분포(예: IBP)를 사용하여 데이터로부터 잠재 특징 수를 직접 추론한다.
• 결측치 보정 및 탐색적 분석을 위해 모델을 소프트웨어 툴박스(GLFM)에 통합한다.

실험 결과

연구 질문

• RQ1 베이지안 비모수 잠재 특징 모델이 이산형, 연속형, 카운트 변수가 혼합된 데이터셋을 효과적으로 처리할 수 있는가?
• RQ2 이질적 데이터 유형에도 불구하고 제안된 모델이 계산 효율성과 공액성을 유지하는가?
• RQ3 모델이 수동 튜닝 없이 데이터로부터 적절한 수의 잠재 특징을 자동으로 추론할 수 있는가?
• RQ4 기존 방법과 비교해 복잡한 데이터베이스에서 결측치 예측 성능이 얼마나 우수한가?
• RQ5 이진 잠재 특징이 실제 세계 데이터에서 해석 가능한 의미 있는 패턴을 얼마나 잘 드러내는가?

주요 결과

• GLFM 모델은 결측치 보정 작업에서 베이지안 확률적 행렬 분해(BPMF)와 가우시안 가정을 가진 표준 IBP보다 성능이 뛰어나다.
• 모델은 객체와 속성의 수에 대해 선형 시간 복잡도를 가지며, 대규모 데이터셋에 대한 확장성 확보에 기여한다.
• 이진값을 가지는 잠재 특징은 높은 해석 가능성을 제공하여 실제 세계 데이터에서 인구통계학적 및 행동 패턴을 명확히 식별할 수 있다.
• 미국 대선 분석 사례에서, 모델은 투표 패턴을 성공적으로 복원하였으며(예: 노르턴 지역의 퍼트 지지자들, 공화당 기반 농촌 지역), 역사적 발견과 일치하였다.
• GLFM 툴박스는 GitHub에 공개되어 있으며, 다양한 분야에서 결측치 추정과 탐색적 데이터 분석을 지원한다.
• 모델의 비모수적 성격 덕분에 사전 지정 없이 최적의 잠재 특징 수를 자동으로 발견할 수 있다.