[論文レビュー] A Unified Parallel Algorithm for Regularized Group PLS Scalable to Big Data

Pierre Lafaye de Micheaux, Benoît Liquet+1 more|arXiv (Cornell University)|Feb 23, 2017

Spectroscopy and Chemometric Analyses参考文献 44被引用数 4

ひとこと要約

本稿では、スパースおよびグループスパース正則化を4つの標準的PLS変種（PLSC、PLS-A、PLS-B、PLS-R）に統合することで、大規模データにスケーラブルな統一された並列アルゴリズムを提案する。特徴選択と計算効率性を実現するため、SVDに基づく最適化とソフトスレッショーディングを活用し、理論的証明と高次元データ解析に適した大規模なRパッケージbigsgPLSによるスケーラブルな実装を提供する。

ABSTRACT

Partial Least Squares (PLS) methods have been heavily exploited to analyse the association between two blocs of data. These powerful approaches can be applied to data sets where the number of variables is greater than the number of observations and in presence of high collinearity between variables. Different sparse versions of PLS have been developed to integrate multiple data sets while simultaneously selecting the contributing variables. Sparse modelling is a key factor in obtaining better estimators and identifying associations between multiple data sets. The cornerstone of the sparsity version of PLS methods is the link between the SVD of a matrix (constructed from deflated versions of the original matrices of data) and least squares minimisation in linear regression. We present here an accurate description of the most popular PLS methods, alongside their mathematical proofs. A unified algorithm is proposed to perform all four types of PLS including their regularised versions. Various approaches to decrease the computation time are offered, and we show how the whole procedure can be scalable to big data sets.

研究の動機と目的

• 4つの主要なPLS手法（PLSC、PLS-A、PLS-B、PLS-R）を、単一の計算フレームワークに統合すること。
• 高次元データにおける特徴選択と解釈可能性の向上を目的として、これらの手法にスパースおよびグループスパース正則化を拡張すること。
• 多数の変数と観測値を有する大規模データを処理できる、スケーラブルで並列処理可能なアルゴリズムの開発。
• PLSにおけるSVDに基づく最適化と正則化のための完全な数学的基盤と証明の提供。
• 遺伝学、神経画像診断などの大規模データ応用分野における実用的利用を想定し、R言語で実装されたbigsgPLSパッケージの提供。

提案手法

• 欠損値補完とSVDによるデータ行列の反復的計算を通じて潜在的成分を逐次算出する統一されたアルゴリズムフレームワークを用いる。
• スパース性を強制するためにソフトスレッショーディング（ソフトスレッショーディング作用素 $ g^{\textrm{soft}} $）を成分重みに適用し、正則化パラメータ $ \lambda_1 $ と $ \lambda_2 $ を用いる。
• 成分間の直交性を維持するため、正規直交射影 $ \mathcal{P}_{\tilde{\boldsymbol{W}}_{\bullet h-1}^{\perp}} $ を用いて調整された重み $ \tilde{\boldsymbol{w}}_h $ を導出する。
• グループ単位の変数選択を可能にするために、ソフトスレッショーディングのアプローチを拡張し、変数グループ全体の選択を可能にするグループスパース正則化を統合する。
• 数値的安定性と反復的欠損値補完ステップにおける直交性を確保するため、ムーア・ペンローズ逆行列と射影行列を用いる。
• 成分ごとの最適化を分離することで並列計算を可能にし、分散処理に適した行列演算を活用する。

実験結果

リサーチクエスチョン

• RQ1 4つの主要なPLS変種（PLSC、PLS-A、PLS-B、PLS-R）を、正則化を含めた単一のアルゴリズムフレームワークに統合する方法は何か？
• RQ2 欠損値補完行列のSVDと最小二乗最小化との間の数学的関係は何か？この関係がPLSにおける正則化を可能にする仕組みは？
• RQ3 スパースおよびグループスパース正則化をPLSに体系的に組み込む方法は何か？これにより特徴選択とモデルの解釈性がどのように向上するか？
• RQ4 高次元で相関の高い、大規模なデータセットを処理するにあたり、PLSアルゴリズムをスケーリングするための計算戦略は何か？
• RQ5 提案手法は、シミュレートデータおよび実世界のデータにおいて、既存のスパースPLS手法と比較して計算効率性と正確性の点でどのように性能を発揮するか？

主な発見

• 統一アルゴリズムは、4つのPLS変種およびそれらの正則化版を、一貫性のある数学的導出を伴う単一で整合性のあるフレームワークに統合した。
• SVDに基づく成分にソフトスレッショーディングを適用することで、効果的な特徴選択が可能であり、最適な成分重みは $ \tilde{u}_i = g^{\textrm{soft}}((\boldsymbol{M}\boldsymbol{v})_i, \lambda_1) $ によって導出される。
• 反復的欠損値補完と直交射影を用いることで、大規模データの効率的処理が可能となり、計算スケーラビリティを達成した。
• 射影行列 $ \mathcal{P}_{\tilde{\boldsymbol{W}}_{\bullet h-1}^{\perp}} $ を用いることで、成分間の直交性が維持され、安定的かつ解釈可能な成分抽出が可能になった。
• RパッケージbigsgPLSにおける実装は並列計算をサポートしており、遺伝学や神経画像診断などの実世界応用に適した設計である。
• シミュレートデータを用いた実証的評価により、真の信号の回復能力が確認され、スパarsity下でも標準PLSより優れた特徴選択と予測精度を示した。