[논문 리뷰] Correlated Random Measures

Rajesh Ranganath, David M. Blei|arXiv (Cornell University)|2015. 07. 02.

Bayesian Methods and Mixture Models참고 문헌 56인용 수 5

한 줄 요약

이 논문은 관련 있는 무작위 측도를 도입하며, 완전 무작위 측도를 확장하여 원자 무게 간의 가우시안 프로세스 유도 의존성을 포함함으로써 베이지안 비모수 모델에서 잠재 성분 간의 유연한 상관관계를 모델링할 수 있도록 한다. 이 접근법은 전통적 모델의 독립성 가정을 초월하여 의료 조건의 동시 발생과 같은 의미 있는 의존성을 포착함으로써 문서, 웹 클릭 및 전자 건강 기록 데이터에서 예측 성능을 향상시킨다.

ABSTRACT

We develop correlated random measures, random measures where the atom weights can exhibit a flexible pattern of dependence, and use them to develop powerful hierarchical Bayesian nonparametric models. Hierarchical Bayesian nonparametric models are usually built from completely random measures, a Poisson-process-based construction in which the atom weights are independent. Completely random measures imply strong independence assumptions in the corresponding hierarchical model, and these assumptions are often misplaced in real-world settings. Correlated random measures address this limitation. They model correlation within the measure by using a Gaussian process in concert with the Poisson process. With correlated random measures, for example, we can develop a latent feature model for which we can infer both the properties of the latent features and their dependency pattern. We develop several other examples as well. We study a correlated random measure model of pairwise count data. We derive an efficient variational inference algorithm and show improved predictive performance on large datasets of documents, web clicks, and electronic health records. Supplementary materials for this article are available online.

연구 동기 및 목표

• 계층적 베이지안 비모수 모델에서 성분 무게가 상호 독립임을 가정하는 한계를 해결하기 위해, 이는 종종 실제 세계 데이터의 의존성을 잘못 표현한다.
• 성분 무게 간에 구조적이고 민감한 상관관계를 가진 무작위 측도를 구성하기 위한 일반 목적의 프레임워크를 개발하기 위해.
• 문서, 웹 클릭 및 전자 건강 기록과 같은 복잡하고 고차원적인 데이터의 모델에서 개선된 예측 성능와 더 깊은 해석 가능성의 가능성을 제공하기 위해.
• 포아송 인자분해 및 베타-베르누이 프로세스와 같은 기존 비모수 모델을 확장하기 위해, 가우시안 프로세스를 통해 잠재적 상관관계를 통합함으로써.
• 대규모 데이터 세트 환경에서 스케일이 가능한 사후 근사에 적합한 효율적인 변분 추론 알고리즘을 제공하기 위해.

제안 방법

• 잠재 위치에서 원자 무게로 매핑하는 가우시안 프로세스와 포아송 과정을 조합하여 관련 있는 무작위 측도를 구성함으로써, 성분 간에 의존성을 도입한다.
• 잠재 커널 함수를 사용하여 성분 무게 간의 공분산 구조를 정의함으로써, 양의, 음의 또는 복잡한 상관관계를 민감하게 모델링할 수 있도록 한다.
• 잠재 공간 내 위치로 인덱싱된 원자들의 초합으로서 무작위 측도를 정의하며, 여기서 무게는 가우시안 프로세스에서 추출되고 링크 함수(예: 소프트플러스)를 통해 비음수성을 확보한다.
• 평균 필드 근사와 확률적 최적화를 사용하여 확장성 확보를 위한 변분 추론 알고리즘을 유도함으로써 관련 없는 비모수 포아송 인자분해(CNPF)를 위한 알고리즘을 개발한다.
• 우도 및 사전 분포의 구조를 수정함으로써, 관련 있는 베타 프로세스 및 관련 있는 이진 잠재 특징 모델 등 여러 모델에 프레임워크를 적응시킨다.
• DILN 모델을 관련 있는 무작위 측도의 정규화된 변형으로 사용하여, 성분 무게 간의 의존성을 允허하는 계층적 딜리클 프로세스를 확장한다.

실험 결과

연구 질문

• RQ1 베이지안 비모수 모델에서 잠재 성분 간의 의미 있는 상관관계를 모델링할 수 있는가? 예를 들어, 동시에 발생하는 의료 진단이나 자주 함께 클릭되는 연구 논문들 같은 경우.
• RQ2 적절한 무작위 측도의 이론적 성질을 유지하면서도 원자 무게 간에 의존성을 가진 무작위 측도를 어떻게 구성할 수 있는가?
• RQ3 성분 무게 간의 상관관계를 통합함으로써, 텍스트, 웹 클릭 및 EHR와 같은 실제 세계 데이터에서 예측 성능이 향상되는가?
• RQ4 대규모 데이터 세트에 대해 스케일이 가능한 효율적인 추론 알고리즘을 개발할 수 있는가?
• RQ5 의료적으로 의미 있는 패턴을 해석 가능한 방식으로 포착하는 데 있어, 관련 있는 무작위 측도가 표준 완전 무작위 측도보다 더 우수한가?

주요 결과

• ArXiv 데이터셋에서 미리 보지 않은 클릭을 예측하는 데 있어, 관련 없는 비모수 포아송 인자분해(CNPF) 모델이 표준 비관련 모델보다 예측 정확도가 높게 성능을 냈다.
• 메이오 클리닉에서 확보한 전자 건강 기록 데이터에서는, 제2형 당뇨병과 심부전 간의 의료적으로 의미 있는 성분 상관관계와 비만과 제2형 당뇨병 간의 상관관계를 발견하였다.
• 모든 데이터셋에서 소프트플러스 링크 함수를 사용한 표준 CNPF 모델이 소프트플러스 변형보다 성능이 뛰어나, 더 나은 적합도와 일반화 능력을 보였다.
• 모델은 우도가 높은 신뢰도를 가진 해석 가능한 잠재 성분, 예를 들어 우울증, 심부전 및 암과 관련된 진단 군집을 성공적으로 식별하였다.
• 변분 방법을 통한 추론이 스케일이 가능하여, 수천 명의 사용자와 항목을 포함하는 대규모 데이터에 적용 가능하다.
• 프레임워크는 포아송 인자분해 외에도 관련 있는 베타 프로세스 및 이진 잠재 특징 모델 등 다양한 모델로 일반화되었으며, 포아송 인자분해를 넘어서 광범위한 적용 가능성을 보였다.