[論文レビュー] Low-rank Interaction with Sparse Additive Effects Model for Large Data Frames

Geneviève Robin, Hoi-To Wai+3 more|arXiv (Cornell University)|Dec 20, 2018

CCD and CMOS Imaging Sensors被引用数 4

ひとこと要約

本稿では、大規模で不完全で多様性のあるデータフレームにおいて、低ランク相互作用とスパースな主効果（例：行、列、共変量効果）を同時に推定する凸的で二重正則化された準最尤推定フレームワークであるLow-rank Interaction with Sparse Additive Effects (LORIS) モデルを提案する。このモデルは、収束が保証されたO(1/ε)の部分線形収束を示すMixed Coordinate Gradient Descent (MCGD) アルゴリズムを導入し、シミュレートデータおよび調査データにおける補完と推定の両面で、前処理に基づく手法を上回る性能を発揮する。

ABSTRACT

Many applications of machine learning involve the analysis of large data frames-matrices collecting heterogeneous measurements (binary, numerical, counts, etc.) across samples-with missing values. Low-rank models, as studied by Udell et al. [30], are popular in this framework for tasks such as visualization, clustering and missing value imputation. Yet, available methods with statistical guarantees and efficient optimization do not allow explicit modeling of main additive effects such as row and column, or covariate effects. In this paper, we introduce a low-rank interaction and sparse additive effects (LORIS) model which combines matrix regression on a dictionary and low-rank design, to estimate main effects and interactions simultaneously. We provide statistical guarantees in the form of upper bounds on the estimation error of both components. Then, we introduce a mixed coordinate gradient descent (MCGD) method which provably converges sub-linearly to an optimal solution and is computationally efficient for large scale data sets. We show on simulated and survey data that the method has a clear advantage over current practices, which consist in dealing separately with additive effects in a preprocessing step.

研究の動機と目的

• 大規模で不完全で多様性のあるデータフレームにおいて、低ランク相互作用と主加法的効果（例：行、列、共変量）を同時にモデル化する統計的かつ計算的フレームワークの欠如に対処すること。
• 既存手法の限界を克服すること。具体的には、加法的効果を無視するか、平均中心化などの前処理ステップを要するが、これらは大規模で多様性のあるデータに対して性能を低下させることがある。
• 低ランクおよびスパース成分の両方について、非漸近的誤差バウンディングを備えた統計的に妥当な凸最適化フレームワークを構築すること。
• 分散実装をサポートし、O(1/ε)イテレーションでε最適解に確実に収束する、計算的に効率的かつスケーラブルなアルゴリズム—MCGD—を設計すること。

提案手法

• LORISモデルは、辞書上の行列回帰と低ランク近似を組み合わせ、ランクの核ノルム緩和とスパarsityのℓ1ペナルティを用いた凸的で二重正則化された準尤度アプローチを採用する。
• この手法は、混合データ型（バイナリ、カウント、連続）に対応する非指数型分布族の準尤度を組み込んだ損失関数を最小化することで、低ランク成分とスパース加法的効果を同時に推定する。
• Mixed Coordinate Gradient Descent (MCGD) アルゴリズムは、スパース成分に対してプロキシマル更新を、低ランク成分に対して条件付き勾配（Frank-Wolfe型）更新を用いることで、効率的かつスケーラブルな最適化を実現する。
• アルゴリズムは混合更新戦略を特徴とする：スパarsityのためのプロキシマル更新と、低ランク構造のための条件付き勾配ステップを組み合わせ、分散環境下で局所勾配を集約するラインサーチによりステップサイズを決定する。
• 分散実装では、データパーティションごとに上位特異ベクトルと勾配を並列に計算し、中央サーバーに送信するのは行列-ベクトル積のみであるため、データプライバシーを保持できる。
• 収束速度はO(1/ε)の部分線形収束であることが証明されており、新規な証明技術により、FW-T手法よりも収束速度が厳密に速いことが示されている。

実験結果

リサーチクエスチョン

• RQ1 大規模で不完全で多様性のあるデータフレームにおいて、理論的保証を備えた統一的統計モデルが、低ランク相互作用とスパース加法的効果（例：行、列、共変量効果）を同時に推定可能か？
• RQ2 提案されたMCGDアルゴリズムは、FW-Tなどの既存の一次元手法よりも、特に大規模設定において、保証された速い収束を達成するか？
• RQ3 LORISモデルの性能は、標準的な前処理アプローチ（例：平均中心化）と比較して、推定精度および欠損値補完品質の面で優れているか？
• RQ4 前処理段階で主効果を無視することは、大規模で多様性のあるデータフレームにおける下流分析にどのような影響を及ぼすか？
• RQ5 MCGDアルゴリズムは、生データを露呈せずに複数のワーカー間で効率的に分散化可能であり、収束性とプライバシーを維持できるか？

主な発見

• LORISモデルは、低ランク成分およびスパース加法的成分の両方について、非漸近的誤差バウンディングを達成しており、強い統計的保証を提供する。
• MCGDアルゴリズムは、O(1/ε)イテレーションでε最適解に部分線形収束するが、新規な証明技術によりFW-T手法よりも収束速度が厳密に速いことが示された。
• 本手法は、シミュレートデータおよび実際の調査データにおける推定精度と欠損値補完品質の両面で、標準的な前処理ヒューリスティクス（例：平均中心化）を上回る性能を発揮した。
• 分散MCGD実装は、中央サーバーで1イテレーションあたりO(|Ξ| + max{n,p} log(1/δ))の計算量、ワーカー1台あたりO(|Ωk|max{n,p} log(1/δ))の計算量を達成し、データパーティショニングに応じて効率的にスケーリングされた。
• アルゴリズムは、生の勾配ではなく行列-ベクトル積のみを送信することで、データプライバシーを保持し、安全な分散計算を可能にした。
• 数値実験により、前処理で行および列効果を除去することは、性能の著しい劣化を引き起こすことが確認され、統合的モデリングの必要性が裏付けられた。