[論文レビュー] Missing Not at Random in Matrix Completion: The Effectiveness of Estimating Missingness Probabilities Under a Low Nuclear Norm Assumption

Wei Ma, George H. Chen|arXiv (Cornell University)|Oct 28, 2019

Sparse and Compressive Sensing Techniques被引用数 21

ひとこと要約

本論文は、欠損が無作為でない（MNAR）設定下での行列補完における欠損確率の推定に、欠損パターンの低核ノルム構造を活用することで、新たな手法を提案する。バイナリの欠損マスクに核ノルム制約付き行列補完（1bitMC）を適用することで、強いパラメトリックな仮定を必要とせず、妥当な傾向スコア推定を実現し、ロジスティック回帰やナイーブベイズのベースラインと比較して、下流の行列補完精度を顕著に向上させる。

ABSTRACT

Matrix completion is often applied to data with entries missing not at random (MNAR). For example, consider a recommendation system where users tend to only reveal ratings for items they like. In this case, a matrix completion method that relies on entries being revealed at uniformly sampled row and column indices can yield overly optimistic predictions of unseen user ratings. Recently, various papers have shown that we can reduce this bias in MNAR matrix completion if we know the probabilities of different matrix entries being missing. These probabilities are typically modeled using logistic regression or naive Bayes, which make strong assumptions and lack guarantees on the accuracy of the estimated probabilities. In this paper, we suggest a simple approach to estimating these probabilities that avoids these shortcomings. Our approach follows from the observation that missingness patterns in real data often exhibit low nuclear norm structure. We can then estimate the missingness probabilities by feeding the (always fully-observed) binary matrix specifying which entries are revealed or missing to an existing nuclear-norm-constrained matrix completion algorithm by Davenport et al. [2014]. Thus, we tackle MNAR matrix completion by solving a different matrix completion problem first that recovers missingness probabilities. We establish finite-sample error bounds for how accurate these probability estimates are and how well these estimates debias standard matrix completion losses for the original matrix to be completed. Our experiments show that the proposed debiasing strategy can improve a variety of existing matrix completion algorithms, and achieves downstream matrix completion accuracy at least as good as logistic regression and naive Bayes debiasing baselines that require additional auxiliary information.

研究の動機と目的

• 欠損が無作為でない（MNAR）設定下で、欠損エントリが観測されない値と系として関連している場合に生じるバイアスの高い行列補完の課題に対処すること。
• 従来の研究で用いられる強いパラメトリックな仮定を避ける、傾向スコア（欠損確率）を推定する手法を開発すること。
• 推定された欠損確率の有限標本誤差バウンドと、それによる下流の行列補完性能への影響を理論的に確立すること。
• 実験的に、提案手法が複数のアルゴリズムとデータセットにおいて、行列補完精度を向上させることを示すこと。
• 補助情報が不要な状況でも、既存のベースライン（ロジスティック回帰やナイーブベイズなど）と同等または優れた性能を達成できることを示すこと。

提案手法

• 本手法は、欠損パターンをバイナリ行列 M として扱い、M_{u,i} = 1 であればエントリ (u,i) が観測済み、0 であれば欠損と定義する。
• Davenport ら（2014）が提唱した1ビット行列補完（1bitMC）アルゴリズムを M に適用し、真の欠損確率行列 P の低ランク推定を核ノルム制約付き行列補完によって回復する。
• 回復された P を用いて、逆確率重み付けにより標準的な行列補完アルゴリズムをデバイアス化し、MNAR欠損からのバイアスを低減する。
• 理論的分析により、P の推定に関する有限標本誤差バウンドと、下流の行列補完におけるバイアス低減の有効性を確立する。
• 本手法は、真の欠損確率行列 P が低核ノルムであるという仮定に依存しており、Coat や MovieLens-100k といった実データセット上でその仮定が実証的に妥当であることを確認している。
• 本手法は下流の行列補完アルゴリズムに依存しないため、PMF、SVD、SoftImpute などに適用可能なプラグイン型のデバイアス低減戦略である。

実験結果

リサーチクエスチョン

• RQ1 ロジスティック回帰やナイーブベイズのような強いパラメトリックモデルに依存せずに、MNAR行列補完における欠損確率を正確に推定できるか？
• RQ2 欠損パターンにおける低核ノルム構造を活用することで、従来のパラメトリックモデルに比べて傾向スコアの推定精度が向上するか？
• RQ3 推定された欠損確率の誤差が、下流の行列補完精度にどのように影響するか？
• RQ4 提案手法は、多様なアルゴリズムと実世界のデータセットにおいて、行列補完性能を向上させることができるか？
• RQ5 補助情報が不要な状況でも、既存のデバイアスベースライン（ロジスティック回帰やナイーブベイズなど）と同等または優れた性能を達成できるか？

主な発見

• 1bitMCに基づく欠損確率推定は、補助情報が必要なロジスティック回帰やナイーブベイズのベースラインと同等以上の行列補完精度を達成する。
• MovieLens-100k および Coat データセットにおいて、1bitMC-PMF と 1bitMC-SVD++ はそれぞれ MAE 0.718 ± 0.004 を達成し、PMF や SVD++ のベースラインを上回る性能を示した。
• 合成データの実験では、1bitMC-PMF は UserItemData で MAE 0.308 ± 0.002 を達成し、LR-PMF と同等の性能を示し、PMF や SVD よりも優れた性能を示した。
• 本手法は、欠損確率推定および下流の行列補完に関する有限標本誤差バウンドを達成しており、理論的保証を提供する。
• Coat および MovieLens-100k の欠損マスク行列は、低ランクブロック構造を示しており、低核ノルム仮定の妥当性を裏付ける。
• 本手法は、PMF、SVD、SoftImpute、MaxNorm、WTN など複数の行列補完アルゴリズムに一般化可能であり、一貫してベースラインを上回るか同等の性能を示した。