[논문 리뷰] Empirical Bayes Matrix Factorization

Wei Wang, Matthew Stephens|PubMed|2018. 02. 20.

Gene expression and cancer classification참고 문헌 66인용 수 20

한 줄 요약

이 논문은 다변량 분석에서 희소 행렬 분해를 향상시키기 위해 데이터로부터 희소성 유도 사전 분포를 추정하는 유연한 프레임워크인 경험 베이즈 행렬 분해(Empirical Bayes Matrix Factorization, EBMF)를 소개한다. 변분 근사법을 활용해 문제를 정규 평균 문제로 단순화함으로써, EBMF는 적재 및 요인에 대한 희소성 수준을 자동으로 조정하여, 시뮬레이션 및 실제 GTEx 유전체 데이터 모두에서 기존 방법보다 정확도와 해석 가능성 면에서 뛰어나다.

ABSTRACT

Matrix factorization methods, which include Factor analysis (FA) and Principal Components Analysis (PCA), are widely used for inferring and summarizing structure in multivariate data. Many such methods use a penalty or prior distribution to achieve sparse representations ("Sparse FA/PCA"), and a key question is how much sparsity to induce. Here we introduce a general Empirical Bayes approach to matrix factorization (EBMF), whose key feature is that it estimates the appropriate amount of sparsity by estimating prior distributions from the observed data. The approach is very flexible: it allows for a wide range of different prior families and allows that each component of the matrix factorization may exhibit a different amount of sparsity. The key to this flexibility is the use of a variational approximation, which we show effectively reduces fitting the EBMF model to solving a simpler problem, the so-called "normal means" problem. We demonstrate the benefits of EBMF with sparse priors through both numerical comparisons with competing methods and through analysis of data from the GTEx (Genotype Tissue Expression) project on genetic associations across 44 human tissues. In numerical comparisons EBMF often provides more accurate inferences than other methods. In the GTEx data, EBMF identifies interpretable structure that agrees with known relationships among human tissues. Software implementing our approach is available at https://github.com/stephenslab/flashr.

연구 동기 및 목표

• 희소 행렬 분해에서 최적의 희소성 수준을 선택하는 데 도전하는 것 — 이는 해석 가능성과 정확성에 매우 중요하다.
• 관측된 데이터에서 직접 적재 및 요인에 대한 사전 분포를 추정하는 자동 조정이 가능한 민첩한 방법을 개발하는 것.
• 특히 유전체학 및 기능 데이터 분석에서 고차원 다변량 데이터의 추론 정확도와 해석 가능성을 향상시키는 것.
• 기존의 희소 FA/PCA 방법을 일반화하는 확장 가능하고 계산적으로 효율적인 프레임워크를 제공하는 것.
• 수치적 비교와 실제 GTEx 조직 발현 데이터에 대한 응용을 통해 본 방법의 우수성을 입증하는 것.

제안 방법

• EBMF는 관측된 데이터 행렬에서 직접 적재 및 요인에 대한 희소성 유도 사전 분포를 경험 베이즈 접근법으로 추정한다.
• 복잡한 사후 추정 문제를 단순화된 '정규 평균 문제'로 변환하기 위해 변분 근사법을 적용하여 효율적인 계산을 가능하게 한다.
• 각 요소에 대해 별개의 희소성 수준을 가질 수 있도록 구성 요소별 사전 분포를 추정함으로써, 분해의 다양한 구성 요소에 대해 서로 다른 희소성 수준을 허용한다.
• 희소성을 지원하면서도 계산 가능성을 유지하는 비대칭이 아닌 단일 모드의 보편적인 사전 분포 클래스(예: 라플라스, 호른세이)를 사용한다.
• 정규 평균 추정의 정규화된 방법에 기반한 탐욕적 또는 백피팅 전략을 사용하여 적재, 요인, 사전 초모수를 반복적으로 업데이트한다.
• 행과 열의 보류 패턴을 균형 있게 유지함으로써 모델 성능을 공정하게 평가하기 위해, 새로운 직교 교차검증(Orthogonal Cross-Validation, OCV) 기법을 도입한다.

실험 결과

연구 질문

• RQ1 고정된 펜alties 매개변수에 의존하지 않고, 데이터에 기반해 희소성 수준을 어떻게 자동 조정할 수 있는가?
• RQ2 사전 분포의 경험 베이즈 추정이 고차원 데이터에서 희소 행렬 분해의 정확도와 해석 가능성에 기여할 수 있는가?
• RQ3 실제 유전체 데이터에서 EBMF는 기존의 희소 FA/PCA 방법에 비해 재구성 오차와 생물학적 해석 가능성 면에서 어떻게 성능을 냈는가?
• RQ4 데이터 기반 사전 추정 전략이 다양한 데이터 구조에서 모델의 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 새로운 직교 교차검증 기법은 요인 모델에서 표준 k-폴드 교차검증보다 더 신뢰할 수 있는 모델 선택을 제공할 수 있는가?

주요 결과

• EBMF는 다양한 시뮬레이션 설정에서 수치 비교를 통해 경쟁 방법들을 일관되게 능가하며, 낮은 재구성 오차와 향상된 추정 정확도를 달성한다.
• GTEx 데이터에서 EBMF는 기존에 알려진 인간 조직 간의 기능적 관계와 일치하는 생물학적으로 해석 가능한 조직 특이적 유전자 발현 패턴을 성공적으로 식별한다.
• 이 방법은 적재 및 요인 간의 이질적인 희소성 구조를 효과적으로 학습하여, 일부 구성 요소는 조밀하고 다른 일부는 매우 희소한 구조를 반영할 수 있다.
• 변분 근사법의 사용 덕분에 확장 가능한 추론이 가능하여, EBMF는 대규모 유전체학 및 다변량 데이터 세트에 적용 가능하다.
• 직교 교차검증(OCV)은 모든 샘플과 특징이 훈련 및 검증 세트에 균형 있게 포함되도록 하여 균형 잡히고 신뢰할 수 있는 모델 선택 방법을 제공한다.
• 소프트웨어 구현은 https://github.com/stephenslab/flashr 에 공개되어 있어 재현성과 광범위한 활용을 가능하게 한다.