[論文レビュー] Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays

Łukasz Kidziński, Francis K. C. Hui+2 more|arXiv (Cornell University)|Oct 6, 2020

Gene expression and cancer classification被引用数 8

ひとこと要約

本稿では、一般化線形潜在変数モデル（GLLVMs）を、ペナルティ付き準尤度（PQL）およびニュートン・ラプソン／フィッシャー採番最適化を用いて、計算的に効率的な方法で大規模かつ高次元のデータ配列に適合させる手法を提案する。この手法により、カウントやバイナリ応答などの非正規分布データにおける潜在要因の高速かつスケーラブルな推定が可能となり、数個の主要な要因が大部分の変動を説明する48,000×2,000の種多様性データセットへの応用が成功した。速度向上は桁違いであり、計算的に処理不能とされていた大規模データの解析が可能になった。

ABSTRACT

Unmeasured or latent variables are often the cause of correlations between multivariate measurements, which are studied in a variety of fields such as psychology, ecology, and medicine. For Gaussian measurements, there are classical tools such as factor analysis or principal component analysis with a well-established theory and fast algorithms. Generalized Linear Latent Variable models (GLLVMs) generalize such factor models to non-Gaussian responses. However, current algorithms for estimating model parameters in GLLVMs require intensive computation and do not scale to large datasets with thousands of observational units or responses. In this article, we propose a new approach for fitting GLLVMs to high-dimensional datasets, based on approximating the model using penalized quasi-likelihood and then using a Newton method and Fisher scoring to learn the model parameters. Computationally, our method is noticeably faster and more stable, enabling GLLVM fits to much larger matrices than previously possible. We apply our method on a dataset of 48,000 observational units with over 2,000 observed species in each unit and find that most of the variability can be explained with a handful of factors. We publish an easy-to-use implementation of our proposed fitting algorithm.

研究の動機と目的

• 数千もの観測単位や応答変数を含む大規模かつ高次元のデータセットに対して、従来のGLLVM推定手法が計算的に非現実的であるという問題に対処すること。
• 近似尤度法を用いて、非正規データに適した高速で安定的かつスケーラブルなGLLVMの適合アルゴリズムを開発すること。
• 生態学、ゲノム研究、行動学など、高次元の多変量応答が一般的な分野におけるGLLVMの実用的応用を可能にすること。
• 大規模データセットに対しては遅すぎるため、ベイジアン手法やラプラス近似に基づく手法に対する計算的に効率的な代替手段を提供すること。
• 予測性能と計算の実行可能性を重視し、交差検証と正則化を用いたモデル選択を支援すること。

提案手法

• 潜在変数の積分が計算不能であるのを避けるために、GLLVMの周辺尤度を近似するため、ペナルティ付き準尤度（PQL）を用いる。
• PQL近似を反復的に最適化するために、ニュートン・ラプソン法にフィッシャー採番を組み合わせ、高速な収束性と数値的安定性を確保する。
• 既存の一般化線形モデル（GLM）ルーチンを活用することで、実装が容易になり、標準的な統計ワークフローへの統合が可能になる。
• Apache Sparkなどの現代的なフレームワークを用いて、複数のマシンにわたる並列処理が可能に設計されており、スケーラビリティが向上する。
• モデルの複雑さは、20-fold交差検証を用いて外れサンプルのデビアンスを評価することで選択され、2つの戦略を用いる：潜在要因の精度に対する滑らかな正則化と、要因数のランク制約。
• 潜在要因行列における低ランク構造を促進するため、核ノルム正則化を用いることで、モデルの単純さと解釈可能性が向上する。

実験結果

リサーチクエスチョン

• RQ1 PQLに基づく手法は、非正規応答を持つ大規模かつ高次元のデータセットに対して、高速かつ安定したGLLVM推定を達成できるか？
• RQ2 PQLに基づくGLLVM推定の性能は、最先端のラプラス法やMCMC法と比較して、速度と正確さの面で優れているか？
• RQ3 滑らかな正則化またはランク制約を用いた交差検証は、大規模データセットにおける最適な潜在要因数や精度パラメータを信頼性を持って選択できるか？
• RQ4 本手法は、数万の観測単位と数千の応答を含む実世界のデータセットに、どの程度スケーリング可能か？
• RQ5 既知の有限標本バイアスがあるにもかかわらず、PQL近似は予測モデリングに十分な精度を維持しているか？

主な発見

• 提案手法であるPQLベースの手法は、従来の最先端のGLLVM推定アルゴリズムと比較して、桁違いの高速化を達成し、かつて計算的に処理不能とされていたデータセットの解析を可能にした。
• n=m=100、p=2のシミュレーションスタディにおいて、滑らかな正則化とランク制約付きのモデル選択の両方が、ほぼ同一の平均デビアンス（1.272 vs. 1.279）を達成した。これは、交差検証フレームワークの頑健性と信頼性を示している。
• 本手法は、48,000の観測単位と2,000種以上の種多様性を含む実際の生態学的データセットに対しても、GLLVMを正常に適合させることができた。このデータセットでは、わずか数個の潜在要因が大部分の変動を説明していた。
• アルゴリズムは容易に並列化可能であり、標準的なGLMルーチンを用いて実装可能であり、既存のワークフローへの統合が可能なオープンソースのRパッケージ（gmf）が利用可能である。
• 滑らかな正則化では、γが増加するにつれて特異値が単調に減少したが、ランク制約付きモデルでは、要因を追加しても特異値が安定したまま維持された。これは、本手法がモデルの複雑さに対して感受性を示していることを確認した。
• ホールドアウトデータにおける予測性能は強く、外れサンプルのデビアンスが低く抑えられ、大規模な推論と予測に本手法が実用的であることが検証された。