[論文レビュー] A Two-Stage Approach to Multivariate Linear Regression with Sparsely Mismatched Data

Martin Slawski, Emanuel Ben‐David+1 more|arXiv (Cornell University)|Jul 16, 2019

Sparse and Compressive Sensing Techniques参考文献 56被引用数 9

ひとこと要約

本稿は、応答変数と予測変数のペアが完全に整合していないスパースに不一致するデータに対する多変量線形回帰のための2段階手法を提案する。最初の段階で、不一致を汚染とみなして回帰係数を推定し、2番目の段階で一般化された順列をマッチングによって回復する。主な結果として、$ m = \Omega(\log n) $ 個の応答変数がある場合、正確な順列回復に必要な信号対雑音比（SNR）は標本サイズ $ n $ に依存しなくなり、大幅に条件が緩和されることが示された。

ABSTRACT

A tacit assumption in linear regression is that (response, predictor)-pairs correspond to identical observational units. A series of recent works have studied scenarios in which this assumption is violated under terms such as ``Unlabeled Sensing and ``Regression with Unknown Permutation''. In this paper, we study the setup of multiple response variables and a notion of mismatches that generalizes permutations in order to allow for missing matches as well as for one-to-many matches. A two-stage method is proposed under the assumption that most pairs are correctly matched. In the first stage, the regression parameter is estimated by handling mismatches as contaminations, and subsequently the generalized permutation is estimated by a basic variant of matching. The approach is both computationally convenient and equipped with favorable statistical guarantees. Specifically, it is shown that the conditions for permutation recovery become considerably less stringent as the number of responses $m$ per observation increase. Particularly, for $m = Ω(\log n)$, the required signal-to-noise ratio no longer depends on the sample size $n$. Numerical results on synthetic and real data are presented to support the main findings of our analysis.

研究の動機と目的

• 応答変数と予測変数のペアが欠損または1対多のマッチングによって不一致する状況における多変量線形回帰を扱う。
• スパースな不一致においても計算的に効率的であり、統計的に妥当な方法を開発する。
• 応答変数と予測変数の真の対応関係が正確に回復可能となる条件を確立する。
• 応答変数の数を増やすことで、順列回復に必要な信号対雑音比（SNR）が低下することを示す。

提案手法

• 最初の段階で、不一致を汚染とみなして、頑健な推定手法を用いて回帰係数行列を推定する。
• 2番目の段階で、基本的なマッチング手順により、応答変数と予測変数を一致させる一般化された順列を回復する。
• 係数行列の安定ランクを活用して、正しいマッチング対と不正なマッチング対の間の分離性を向上させる。
• 大多数のペアが正しくマッチングされていると仮定し、初期推定に向けた信頼性の高いデータの大部分を特定する。
• 全探索やNP困難な最適化を回避する計算的に効率的な手法である。
• 分離可能性と不一致割合の有界性を仮定したもとで、理論的保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 応答変数と予測変数のデータが不一致しており、欠損または1対多のマッチングがある場合、多変量線形回帰を正確に推定できるか。
• RQ2 応答変数の数を増やすと、正確な順列回復に必要な信号対雑音比（SNR）の要件はどのように変化するか。
• RQ3 2段階手法がスパースな不一致下でも回帰係数と順列の一貫した推定を達成できるか。
• RQ4 応答変数と予測変数のペアの真の対応関係が完全に回復可能となる条件は何か。
• RQ5 CRR や EM といった既存手法と比較して、提案手法は推定精度と頑健性においてどのように差がつくか。

主な発見

• 応答変数が $ m = \Omega(\log n) $ 個ある場合、正確な順列回復に必要な信号対雑音比（SNR）は標本サイズ $ n $ に依存しなくなり、大幅に条件が緩和される。
• 提案手法は実データで $ R^2 = 0.715 $ を達成し、ナードルな最小二乗法の 0.66 よりも向上し、オラクル値 0.725 に近づいた。
• 切片を含む $ B^* $ の推定において、RMSE を 298.9 まで低下させたが、ナードルな最小二乗法では 431.4 であった。
• オラクルチューニングパrameterを用いた場合、CRR はわずかに提案手法を上回る性能を示したが、提案手法はより頑健で計算的に効率的である。
• EMに基づく手法は性能が低く、$ R^2 $ が 0.625 に低下し、RMSE も高くなり、不一致データに対して過剰適合していることが示された。
• 不一致の割合が 100% から離れていても、良好な統計的保証を維持しており、より高い不一致率への拡張可能性を示唆している。