[논문 리뷰] Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays

Łukasz Kidziński, Francis K. C. Hui외 2명|arXiv (Cornell University)|2020. 10. 06.

Gene expression and cancer classification인용 수 8

한 줄 요약

이 논문은 펜라이즈드 퀼리얼리티(PLQ)와 뉴턴-랩슨/파이셔 스코어 최적화를 사용하여 대규모 고차원 데이터 어레이에 대한 일반선형잠재변량모형(GLLVMs)을 계산적으로 효율적으로 피팅하는 방법을 제안한다. 이 방법은 이방형 데이터(예: 카운트 또는 이진 반응)의 잠재요인을 빠르고 확장 가능하게 추정할 수 있게 하며, 수개의 주요 요인이 대부분의 변동성을 설명하는 48,000×2,000 종의 풍부도 데이터셋에 성공적으로 적용되었고, 속도 향상은 수개의 주기수 수준을 기록하였다.

ABSTRACT

Unmeasured or latent variables are often the cause of correlations between multivariate measurements, which are studied in a variety of fields such as psychology, ecology, and medicine. For Gaussian measurements, there are classical tools such as factor analysis or principal component analysis with a well-established theory and fast algorithms. Generalized Linear Latent Variable models (GLLVMs) generalize such factor models to non-Gaussian responses. However, current algorithms for estimating model parameters in GLLVMs require intensive computation and do not scale to large datasets with thousands of observational units or responses. In this article, we propose a new approach for fitting GLLVMs to high-dimensional datasets, based on approximating the model using penalized quasi-likelihood and then using a Newton method and Fisher scoring to learn the model parameters. Computationally, our method is noticeably faster and more stable, enabling GLLVM fits to much larger matrices than previously possible. We apply our method on a dataset of 48,000 observational units with over 2,000 observed species in each unit and find that most of the variability can be explained with a handful of factors. We publish an easy-to-use implementation of our proposed fitting algorithm.

연구 동기 및 목표

• 수천 개의 관측 단위 또는 반응을 포함하는 대규모 고차원 데이터셋에 대해 기존 GLLVM 추정 방법이 계산적으로 불가능한 문제를 해결하기 위해.
• 근사 우도 방법을 사용하여 이방형 데이터에 대한 GLLVM을 빠르고 안정적이며 확장 가능한 알고리즘으로 피팅하기 위해.
• 고차원 다변량 반응이 흔한 분야(예: 생태학, 게놈학, 행동학 연구)에서 GLLVM의 실용적 적용을 가능하게 하기 위해.
• 대규모 데이터셋에 대해 너무 느려서 사용이 어려운 베이지안 및 라플라스 기반 방법에 대한 계산적으로 효율적인 대안을 제공하기 위해.
• 예측 성능과 계산 가능성에 중점을 두고, 교차검증 및 정규화를 통한 모델 선택을 지원하기 위해.

제안 방법

• 잠재 변수에 대한 적분이 계산이 불가능한 문제를 피하기 위해, GLLVM의 주변 우도를 근사하기 위해 펜라이즈드 퀼리얼리티(PQL)를 사용한다.
• PQL 근사를 반복적으로 최적화하기 위해 뉴턴-랩슨 방법과 파이셔 스코어를 적용하여 수렴 속도와 수치적 안정성을 확보한다.
• 기존의 일반선형모형(GLM) 루틴을 활용하여 간편한 구현과 표준 통계 워크플로우에의 통합을 가능하게 한다.
• 현대 프레임워크(예: Apache Spark)를 사용하여 다수의 머신에서 병렬화가 가능하도록 설계되어 확장성을 향상시킨다.
• 외부 샘플의 디바이언스를 사용한 20중 교차검증을 통해 모델 복잡도를 선택하며, 두 전략을 사용한다: 잠재요인 정밀도에 대한 부드러운 정규화와 요인 수에 대한 랭크 제약.
• 잠재요인 행렬의 낮은 랭크 구조를 장려하기 위해 핵노름 정규화를 사용하여 모델의 단순성과 해석 가능성을 증진시킨다.

실험 결과

연구 질문

• RQ1 PQL 기반 접근법이 이방형 반응을 포함하는 대규모 고차원 데이터셋에 대해 GLLVM의 빠르고 안정적인 추정을 달성할 수 있는가?
• RQ2 속도와 정확도 측면에서 PQL 기반 GLLVM 추정의 성능이 최신의 라플라스 또는 MCMC 방법과 비교해 어떻게 되는가?
• RQ3 부드러운 정규화 또는 랭크 제약을 사용한 교차검증이 대규모 데이터셋에서 최적의 잠재요인 수와 정밀도 파라미터를 신뢰성 있게 선택할 수 있는가?
• RQ4 이러한 방법이 수만 개의 관측 단위와 수천 개의 반응을 포함하는 실제 세계 데이터셋에 얼마나 잘 스케일링되는가?
• RQ5 기대치에 비해 유한 표본 편향이 알려져 있음에도 불구하고, PQL 근사는 예측 모델링에 충분한 정확도를 유지하는가?

주요 결과

• 제안된 PQL 기반 방법은 기존 최신 기술 대비 GLLVM 추정에 대해 주기수 수준의 속도 향상을 달성하여 이전에는 계산적으로 불가능하다고 여겨졌던 데이터셋의 분석을 가능하게 하였다.
• n=m=100, p=2 조건의 시뮬레이션 연구에서, 부드러운 정규화와 랭크 제약 모델 선택 모두 거의 동일한 평균 디바이언스(1.272 대 1.279)를 기록하여 교차검증 프레임워크의 강건성과 신뢰성을 입증하였다.
• 실제 생태학 데이터셋(48,000개의 관측 단위와 2,000개 이상의 종)에 대해 GLLVM을 성공적으로 피팅하였으며, 몇 개의 잠재요인만으로도 대부분의 변동성을 설명하였다.
• 알고리즘은 쉽게 병렬화 가능하며, 표준 GLM 루틴을 사용해 쉽게 구현할 수 있으며, 기존 워크플로우에 통합 가능한 오픈소스 R 패키지(gmf)가 제공된다.
• 부드러운 정규화는 증가하는 γ에 따라 특이값을 단조롭게 감소시키는 반면, 랭크 제약 모델은 요인을 추가함에 따라 특이값이 안정적으로 유지됨을 확인하여, 방법의 모델 복잡도에 대한 민감도를 확인하였다.
• 검증 데이터에 대한 예측 성능이 뛰어나 외부 샘플 디바이언스가 낮게 나타나, 대규모 추론 및 예측에 있어 실용성과 유효성을 입증하였다.