[論文レビュー] Probability and Non-Probability Samples: Improving Regression Modeling by Using Data from Different Sources

Gerhard Tutz|arXiv (Cornell University)|Apr 3, 2022

Forecasting Techniques and Applications被引用数 5

ひとこと要約

本論文では、回帰残差を用いて標本の代表性を評価することで、非確率的標本データを確率的標本に統合する手法を提案する。この手法により、特に隣接国などの類似集団からのデータを統合することで、標準誤差を低減し、推定精度を向上させることができる。診断用残差と適合されたブートストラップ手法を活用することで、特に近隣国などの類似集団からのデータ統合において、標準誤差の低減と推定精度の向上が達成される。

ABSTRACT

Non-probability sampling, for example in the form of online panels, has become a fast and cheap method to collect data. While reliable inference tools are available for classical probability samples, non-probability samples can yield strongly biased estimates since the selection mechanism is typically unknown. We propose a general method how to improve statistical inference when in addition to a probability sample data from other sources, which have to be considered non-probability samples, are available. The method uses specifically tailored regression residuals to enlarge the original data set by including observations from other sources that can be considered as stemming from the target population. Measures of accuracy of estimates are obtained by adapted bootstrap techniques. It is demonstrated that the method can improve estimates in a wide range of scenarios. For illustrative purposes, the proposed method is applied to two data sets.

研究の動機と目的

• 選択メカニズムが不明な非確率的標本によるバイアスの高い推定を是正すること。
• 代表的な確率的標本が利用可能な状況下で、非確率的標本からのデータを統合することにより回帰係数推定を改善する手法を開発すること。
• 適合されたブートストラップ手法を用いて標準誤差を信頼性高く推定するフレームワークを提供すること。
• 異なるデータ設定、特に国境を越えた調査データを含む多様な状況において、本手法の有効性を示すこと。

提案手法

• 確率的標本からの回帰残差を用いて、非確率的標本の観測値が標的集団に類似しているかどうかを評価する。
• ラベル付きトレーニングデータを必要とせず、残差のパターンに基づいて非確率的標本の観測値を標的集団に属するとみなし得るかどうかを分類する。
• 確率的標本の分布と整合性を示す残差を示す観測値のみを抽出・統合する。
• 確率的標本と選択された非確率的観測値を組み合わせた拡大されたデータセットに対して最小二乗回帰を適用する。
• 標準誤差および信頼区間を推定するために、スケーリングを施したブートストラップ手順を用いる。
• 適切な残差定義を用いて、ロバスト推定や正則化推定器、一般化線形モデルおよび加法的モデルに対しても本手法を拡張する。

実験結果

リサーチクエスチョン

• RQ1 確率的標本が利用可能な状況で、非確率的標本データを信頼性高く回帰モデルに統合できるか？
• RQ2 回帰残差をどのように活用することで、非確率的標本のうち標的集団を代表する観測値を特定できるか？
• RQ3 類似集団（例：隣接国）からのデータ統合が、回帰推定の精度および標準誤差の低減に与える影響は何か？
• RQ4 確率的標本と非確率的標本を統合する状況で、標準誤差を信頼性高く推定する方法は何か？
• RQ5 本手法は、縮小推定器や一般化線形モデルなどの拡張モデルへ一般化可能か？

主な発見

• ババリア州のデータセットにおいて、バーデン＝ヴュルテンベルクおよびヘッセ州からの観測値を統合することで、回帰係数の標準誤差が低減した。特に、1つの隣接国からのデータ統合で最も顕著な改善が得られた。
• バーデン＝ヴュルテンベルクのデータを追加した場合、バーデン州のデータのみを用いた場合と比較して、年齢係数の標準誤差は0.005から0.004に、性別係数は0.193から0.166に低下した。
• ベルリンを標的集団とした場合、ブランドエンブルクからのデータ統合により、性別係数の標準誤差は0.452から0.429に、年齢係数は0.011から0.010に減少した。
• ロバスト化された推定では、隣接国からのデータ統合によってより高い安定性が得られ、異なるモデル仕様間でもパラメータ推定値が一貫していた。
• 外れ値を含まないように確率的標本を縮小しても、係数推定値が一貫して維持されたことから、データ品質のばらつきに対して本手法が頑健であることが示された。
• ブートストラップに基づく標準誤差推定は、シミュレーションおよび実データ設定の両方で分散推定値の歪みが最小限に抑えられ、信頼性のある推論を可能にした。