[論文レビュー] Causal Matrix Completion

Anish Agarwal, Munther A. Dahleh+2 more|arXiv (Cornell University)|Sep 30, 2021

Sparse and Compressive Sensing Techniques被引用数 10

ひとこと要約

本稿では、潜在的アウトカムと交絡要因を用いて欠損をモデル化することで、完全にランダムに欠損する（MCAR）という仮定に依存しない因果的行列補完フレームワークを提案する。本研究では、有限標本の一貫性と漸近正規性を達成する、合成近傍法（SNN）アルゴリズムを導入し、合成および実世界の推薦システム・パネルデータ設定において、標準的手法を上回る性能を示した。

ABSTRACT

Matrix completion is the study of recovering an underlying matrix from a sparse subset of noisy observations. Traditionally, it is assumed that the entries of the matrix are "missing completely at random" (MCAR), i.e., each entry is revealed at random, independent of everything else, with uniform probability. This is likely unrealistic due to the presence of "latent confounders", i.e., unobserved factors that determine both the entries of the underlying matrix and the missingness pattern in the observed matrix. For example, in the context of movie recommender systems -- a canonical application for matrix completion -- a user who vehemently dislikes horror films is unlikely to ever watch horror films. In general, these confounders yield "missing not at random" (MNAR) data, which can severely impact any inference procedure that does not correct for this bias. We develop a formal causal model for matrix completion through the language of potential outcomes, and provide novel identification arguments for a variety of causal estimands of interest. We design a procedure, which we call "synthetic nearest neighbors" (SNN), to estimate these causal estimands. We prove finite-sample consistency and asymptotic normality of our estimator. Our analysis also leads to new theoretical results for the matrix completion literature. In particular, we establish entry-wise, i.e., max-norm, finite-sample consistency and asymptotic normality results for matrix completion with MNAR data. As a special case, this also provides entry-wise bounds for matrix completion with MCAR data. Across simulated and real data, we demonstrate the efficacy of our proposed estimator.

研究の動機と目的

• 欠損が完全にランダム（MCAR）であると仮定する従来の行列補完手法の制限を解消すること。これは、潜在的交絡要因が存在するため、現実的ではないことが多い。
• 潜在的アウトカムを用いて、観察されない要因によって引き起こされる欠損を考慮する因果推論問題として行列補完を定式化すること。
• 交絡要因によって引き起こされる欠損（MNAR）に起因するバイアスを同定・是正できる手法を開発すること。
• MNARメカニズム下での行列補完に対して、有限標本の一貫性と漸近正規性という理論的保証を確立すること。
• 推薦システムやパネルデータなど、標準的手法が選択バイアスのため失敗する多様な設定において、強固な性能を示すこと。

提案手法

• 観測されたエントリを異なる欠損メカニズム下での潜在的アウトカムとして扱う、潜在的アウトカムフレームワーク内で行列補完を形式化する。
• SNN（合成近傍法）アルゴリズムを導入し、アンカー行とアンカー列を用いてMNAR欠損状況下での反事後的エントリを推定する。
• 最大バイクリーク探索を用いて、補完の基準点として機能するアンカー行・アンカー列をアルゴリズム的に同定する。
• 合成コントロール機構を組み込むことで、欠損プロセスにおける交絡要因に強く耐性のある近傍推定を構築する。
• 正規性条件（正の性質とオーバーラップ仮定を含む）の下で、有限標本の一貫性と漸近正規性を理論的に確立する。
• 補助的共変量を必要としないため、このようなデータが入手不可能な設定にも適用可能である。

実験結果

リサーチクエスチョン

• RQ1 どのようにして行列補完を因果推論問題として再解釈することで、欠損が完全にランダムでない（MNAR）状況に起因するバイアスを是正できるか？
• RQ2 欠損が観察されない交絡要因に依存する場合、行列補完における因果的推定量が一貫して推定可能となる同定条件は何か？
• RQ3 欠損パターンが内生的である場合でも、MNARメカニズム下で有限標本の一貫性と漸近正規性を達成できるような行列補完アルゴリズムを設計できるか？
• RQ4 MNARデータと交絡要因が存在する状況において、SNNの性能はSVD、softImpute、KNNといった標準的手法と比べてどの程度優れているか？
• RQ5 SNNは、正の性質や独立性の仮定を満たさないような欠損メカニズムに対しても、どの程度一般化可能か？

主な発見

• SNNは、シミュレーションおよび実世界のパネルデータ実験の両方において、SVD、softImpute、KNNといったベースライン手法と比較して、RMSEおよびMAEの観点で顕著に優れた性能を示した。
• カリフォルニアたばこ管理研究において、SNNはすべてのベースラインと比較して平均的なRMSEおよびMAEが低く、KNNを除けば同等の性能を示した。ただしKNNは特殊な差分の差分推定器である。
• 正の性質や独立性の仮定が破られる状況でも、SNNは強固な性能を維持しており、複雑なMNARメカニズムに対しても耐性があることを示した。
• 理論的分析により、MNAR下での行列補完に対して、エントリごとの（最大ノルム）有限標本の一貫性と漸近正規性を確立した。これは、文献において新たな貢献である。
• 補助的共変量を必要としないため、他の競合手法とは異なり、実用的応用性が高まる。
• SNNの性能は、推薦システムや計量経済パネルデータを含む多様な設定で安定しており、一般化可能性が確認された。