[논문 리뷰] Bayesian Boolean Matrix Factorisation

Tammo Rukat, Chris Holmes외 2명|arXiv (Cornell University)|2017. 02. 20.

Gene expression and cancer classification참고 문헌 19인용 수 10

한 줄 요약

이 논문은 메트로폴리스 조건부 기반의 게이브스 샘플러를 통해 전체 사후 분포 추론을 가능하게 하는 베이지안 확률 모델인 OrMachine을 소개한다. 이 모델은 요인 분해 및 완성 작업에서 기존 방법들을 능가하며, 대규모 데이터셋(예: 130만 개의 마우스 뇌 세포)에까지 스케일링 가능하고, 단일세포 유전체학 데이터에서 해석 가능한 계층적 생물학적 패턴을 드러낸다.

ABSTRACT

Boolean matrix factorisation aims to decompose a binary data matrix into an approximate Boolean product of two low rank, binary matrices: one containing meaningful patterns, the other quantifying how the observations can be expressed as a combination of these patterns. We introduce the OrMachine, a probabilistic generative model for Boolean matrix factorisation and derive a Metropolised Gibbs sampler that facilitates efficient parallel posterior inference. On real world and simulated data, our method outperforms all currently existing approaches for Boolean matrix factorisation and completion. This is the first method to provide full posterior inference for Boolean Matrix factorisation which is relevant in applications, e.g. for controlling false positive rates in collaborative filtering and, crucially, improves the interpretability of the inferred patterns. The proposed algorithm scales to large datasets as we demonstrate by analysing single cell gene expression data in 1.3 million mouse brain cells across 11 thousand genes on commodity hardware.

연구 동기 및 목표

• 실제 응용에서 불확실성 정량화에 필수적인 전체 사후 추론을 가능하게 하는 불리안 행렬 분해를 위한 베이지안 프레임워크를 개발하는 것.
• 기존 불리안 행렬 분해 방법들이 일반적으로 점 추정치나 히우리스틱 알고리즘에 의존하는 바, 확률적 추론의 부재를 해결하는 것.
• 일반 장비를 사용하여 130만 개의 세포와 11,000개의 유전자를 포함한 대규모 데이터셋(예: 단일세포 유전자 발현 데이터)에 대한 사후 추론을 스케일링하는 것.
• 이진 데이터, 예를 들어 유전자 발현 패턴과 이미지 구성 요소에서 해석 가능한 계층적 잠재 구조를 발견하는 것.
• 원칙적인 확률적 방식으로 사전 지식을 통합하고 결측치 보정을 지원하는 것.

제안 방법

• OrMachine은 OR 연산을 사용하여 두 개의 저랭크 이진 행렬 Z와 U의 불리안 곱으로 이진 데이터를 모델링한다: x_{nd} = ⋁_{l=1}^L (z_{nl} ∧ u_{ld}).
• 각 관측치가 잠재 이진 코드의 불리안 조합으로 생성되는 생성 과정을 정의하며, 잠재 변수에 대한 사전 분포를 설정한다.
• 사후 추론을 위해 메트로폴리스 조건부 기반 게이브스 샘플러를 사용하여 공동 사후 분포에서 효율적이고 병렬적인 샘플링을 가능하게 한다.
• 알고리즘은 효율적으로 스케일링되며, 4코어 데스크톱에서는 10~20회 반복 내에 수렴하고, 24코어 클러스터에서는 10~30분 내에 수렴한다.
• 다중층 OrMachine을 스택하여 계층적 표현을 학습하며, 상위 수준의 코드는 하위 수준의 분해 결과에서 유도된다.
• 이 방법은 결측치를 지원하며, 잠재 변수에 대한 정보가 많은 사전 분포를 통해 사전 지식을 통합할 수 있다.

실험 결과

연구 질문

• RQ1 기존의 점 추정치나 히우리스틱 방법에 비해, 완전한 베이지안 접근 방식이 더 신뢰할 수 있고 해석 가능한 요인 분해를 제공할 수 있는가?
• RQ2 예를 들어 수십억 개의 데이터 포인트를 포함하는 단일세포 유전체학 데이터와 같은 대규모 이진 데이터셋에서 사후 추론은 얼마나 효율적으로 수행될 수 있는가?
• RQ3 사전에 정의된 계층 모델 구조를 부여하지 않고도 OrMachine이 잠재 표현에서 의미 있는 계층적 구조를 드러낼 수 있는가?
• RQ4 메시지 전달 기반 최신 기술 대비, 전체 사후 추론이 행렬 완성 및 요인 분해 작업 성능을 향상시키는가?
• RQ5 모델이 고속도 단일세포 데이터에서 생물학적으로 타당한 유전자 서명과 세포 상태를 효과적으로 식별할 수 있는가?

주요 결과

• OrMachine은 시뮬레이션 및 실제 데이터 모두에서 모든 기존 방법보다 불리안 행렬 분해 및 완성 작업에서 뛰어난 성능을 보였다.
• 이 방법은 약 1.4×10^10개의 데이터 포인트(130만 개의 세포 × 11,000개의 유전자)를 포함하는 데이터셋에까지 스케일링되며, 4코어 데스크톱에서 한 시간 이내에 수렴한다.
• 사후 불확실성 정량화 덕분에 특히 협업 필터링 및 유전체학 분야에서 거짓 양성률 제어가 향상되었다.
• 잠재 공간에서 계층적 패턴이 자연스럽게 나타난다: 잠재 차원이 증가함에 따라, 농후한 유전자 집합이 더 구체적이고 생물학적으로 타당한 기능 그룹으로 분리된다.
• 유전자 집합 부르기 분석을 통해 각 추정 코드에 고유한 유전자가 알려진 생물학적 과정(예: 후각 피부, 해마)과 유의미하게 관련되어 있음을 확인했으며, 보정된 p-값은 10^-3에서 1 수준이었다.
• 단일세포 데이터에서는 잠재 차원이 증가할수록 표현이 더 분산되고 세포 할당에 대한 사후 불확실성이 높아지며, 이는 생물학적 특이성 증가를 반영한다.