[論文レビュー] Matrix Completion with Quantified Uncertainty through Low Rank Gaussian Copula

Yuxuan Zhao, Madeleine Udell|arXiv (Cornell University)|Jan 1, 2020

Statistical Methods and Inference被引用数 3

ひとこと要約

本論文は、不確実性の定量化を伴うスケーラブルな確率的フレームワーク、Low Rank Gaussian Copula を提案する。Probabilistic PCA を列ごとの周辺分布変換で拡張することで、実数値、順序尺度、論理的変数といった混合データ型をモデル化し、良好にキャリブレートされた不確実性推定を提供する。線形時間計算量を維持しながら、最先端の補完精度を達成する。

ABSTRACT

Modern large scale datasets are often plagued with missing entries. For tabular data with missing values, a flurry of imputation algorithms solve for a complete matrix which minimizes some penalized reconstruction error. However, almost none of them can estimate the uncertainty of its imputations. This paper proposes a probabilistic and scalable framework for missing value imputation with quantified uncertainty. Our model, the Low Rank Gaussian Copula, augments a standard probabilistic model, Probabilistic Principal Component Analysis, with marginal transformations for each column that allow the model to better match the distribution of the data. It naturally handles Boolean, ordinal, and real-valued observations and quantifies the uncertainty in each imputation. The time required to fit the model scales linearly with the number of rows and the number of columns in the dataset. Empirical results show the method yields state-of-the-art imputation accuracy across a wide range of data types, including those with high rank. Our uncertainty measure predicts imputation error well: entries with lower uncertainty do have lower imputation error (on average). Moreover, for real-valued data, the resulting confidence intervals are well-calibrated.

研究の動機と目的

• 大規模な表形式データに欠損値がある場合に、既存の行列補完手法における不確実性定量化の欠如に対処する。
• 実数値、順序尺度、論理的変数を含む混合データ型を正確に扱える確率的モデルを開発する。
• データセットのサイズに応じて効率的にスケーリングされ、行と列の両方で線形時間計算量を維持する。
• 不確実性推定が実際の補完誤差と相関を持つように保証する。
• 高ランク行列を含む多様なデータ型において、最先端の補完精度を達成する。

提案手法

• 各列ごとの周辺分布に適合させるために、Probabilistic Principal Component Analysis (PPCA) を列方向の周辺変換で拡張する。
• ガウス・コプゥラフレームワークを用いて変数間の依存関係をモデル化しつつ、個々の列の周辺分布を保持する。
• 各列に位置・スケール変換を適用し、観測値を標準正規分布空間にマッピングすることで、非正規分布データの柔軟なモデル化を可能にする。
• 期待値最大化アルゴリズムを用いてモデルパラメータを最適化し、行数と列数の両方に対して線形にスケーリングされる。
• 事後予測分布からのサンプリングにより補完値を生成することで、不確実性を自然に組み込む。
• 実数値補完値の信頼区間を構築し、実証的被覆率を用いてそのキャリブレーションを評価する。

実験結果

リサーチクエスチョン

• RQ1 柔軟な周辺分布を備えた低ランク確率的モデルは、多様なデータ型にわたって補完精度を向上させることができるか？
• RQ2 提案手法は、実際の補完誤差と相関する不確実性推定を提供するか？
• RQ3 実数値補完値に対する信頼区間は、真の誤差率をどれほど適切に反映しているか？
• RQ4 行数と列数の両方が増加するに伴い、モデルのスケーリング性能はどの程度向上するか？
• RQ5 高ランクデータに対して、既存の最先端の補完技術と比較して、この手法はどの程度の性能を示すか？

主な発見

• Low Rank Gaussian Copula は、高ランク行列を含む幅広いデータ型において、最先端の補完精度を達成する。
• 推定不確実性が低い補完値は、平均的に著しく低い実際の補完誤差を示し、不確実性推定の信頼性が裏付けられる。
• 実数値データに対して、モデルが生成する信頼区間は良好にキャリブレートされており、実証的被覆率が名目水準に近く一致する。
• モデルの適合に要する時間は、行数と列数の両方に対して線形に増加し、大規模データセットへの効率的適用を可能にする。
• 統一された確率的フレームワーク内での列ごとの周辺変換により、実数値、順序尺度、論理的変数といった混合データ型を効果的にモデル化できる。
• 不確実性定量化機構により、下流の信頼性が向上し、不確実性が大きい項目はより大きな補完誤差を示す傾向にある。