[論文レビュー] Estimation in exponential family Regression based on linked data contaminated by mismatch error

Zhenbang Wang, Emanuel Ben‐David+1 more|arXiv (Cornell University)|Oct 1, 2020

Statistical Methods and Inference参考文献 57被引用数 5

ひとこと要約

本稿は、誤マッチング誤差によって汚染されたリンクデータを用いた指数型分布族回帰における $β$-推定手法を提案する。観測ごとのオフセットと $β$-ペナルティを活用し、順列に起因する誤差を是正する。合成データおよび実データの両方で、Lahiri-Larsen 法およびChambers法よりも顕著な改善を達成しており、緩い条件下でも回復の理論的保証が得られ、限られたリンク情報のもとでも誤マッチング誤差の低減に実証的に成功している。

ABSTRACT

Identification of matching records in multiple files can be a challenging and error-prone task. Linkage error can considerably affect subsequent statistical analysis based on the resulting linked file. Several recent papers have studied post-linkage linear regression analysis with the response variable in one file and the covariates in a second file from the perspective of the "Broken Sample Problem" and "Permuted Data". In this paper, we present an extension of this line of research to exponential family response given the assumption of a small to moderate number of mismatches. A method based on observation-specific offsets to account for potential mismatches and $\ell_1$-penalization is proposed, and its statistical properties are discussed. We also present sufficient conditions for the recovery of the correct correspondence between covariates and responses if the regression parameter is known. The proposed approach is compared to established baselines, namely the methods by Lahiri-Larsen and Chambers, both theoretically and empirically based on synthetic and real data. The results indicate that substantial improvements over those methods can be achieved even if only limited information about the linkage process is available.

研究の動機と目的

• マッチング変数が不完全に使用された場合に、応答変数と共変数のファイルがマージされた際の誤マッチング誤差が一般化線形モデル推定に与える影響を是正すること。
• 線形回帰から指数型分布族回帰へと「壊れたサンプル問題」フレームワークを拡張し、応答変数の未知の順列下でもロバストな推論を可能にすること。
• 詳細なリンクプロセスの情報が不要な計算的に実行可能な手法を開発し、第三者が提供するリンクデータに適したものとすること。
• 回帰パラメータが既知である場合に、予測子と応答の真の対応関係がどのような条件下で回復可能かを同定すること。
• Lahiri-Larsen 法およびChambersの手法といった標準的手法と、理論的および実証的に比較すること。

提案手法

• 誤マッチングを応答ベクトルの未知の順列とモデル化し、順列をネイジューインジケーターとして扱う。
• 潜在的な誤マッチングを補償する観測ごとのペナルティ項を導入し、尤度と回帰係数に対する $β$-ペナルティを組み込んだ修正された損失関数を用いる。
• 最適化問題は2段階の手続きで解く：まずペナルティ付き尤度を用いて $β$ を推定し、次に線形予測子と順列された応答との内積を最小化することで順列を回復する。
• 同一のマッチング変数（例：年齢、性別、郵便番号）を共有するグループ内でのブロック単位の順列回復により、探索空間を縮小し、計算の実行可能性を向上させる。
• 順列は、共通の準識別子で定義されるグループ内でのブロック順列に制限された制約付き最適化フレームワークを用いる。
• 理論的分析により、$β$ が既知である場合に真の順列の正確または近似的な回復が可能となる十分条件を確立する。

実験結果

リサーチクエスチョン

• RQ1 リンク情報が限られている、あるいは利用できない状況下でも、$β$-ペナルティ推定が指数型分布族回帰における誤マッチング誤差を効果的に是正できるか。
• RQ2 回帰パラメータが既知である場合に、応答と予測子のペア間の真の順列はどのような条件下で回復可能か。
• RQ3 Lahiri-Larsen 法およびChambers法といった既存手法と比較して、提案手法の推定精度と誤マッチング汚染に対するロバストネスはどのように異なるか。
• RQ4 正確な回復が不可能な状況下でも、近似的な順列回復が実際の誤マッチング誤差をどの程度低減できるか。
• RQ5 観測ごとのペナルティ項を用いることで、ポisson回帰やガンマ回帰のような異分散応答を扱うために、本手法を拡張可能か。

主な発見

• Lahiri-Larsen 法およびChambers法と比較して、本手法は誤マッチング誤差を顕著に低減しており、適合値と誤マッチングなしデータからの適合値との整合性が向上していることが示された。
• わずかな数の誤マッチングがある状況でも、リンクの不確実性が高い場合に顕著な推定精度の向上が達成された。
• 事例研究において、補正済み応答ベクトル $\widehat{\Pi}\mathbf{y}$ は、元のマージされた応答 $\mathbf{y}$ よりも真の応答 $\mathbf{y}^{*}$ にはるかに近い一致を示した。これは、絶対誤差のQ-Qプロットによって確認された。
• 正確な回復が不可能な状況下でも、$\widehat{\Pi}\mathbf{y}$ と $\mathbf{y}^{*}$ の間の $\ell_2$-距離が小さく、近似的な順列回復が達成された。
• 理論的結果により、誤マッチング数が少なく、マッチンググループ間で線形予測子の値に十分な差が生じるという緩い条件下でも、真の順列の正確な回復が可能であることが示された。
• 本手法は計算的に実行可能であり、リンクプロセスの詳細を必要としないため、第三者が提供するリンクデータを用いた実世界の応用に実用的である。