[論文レビュー] What does it mean for data to be `observed' or `missing'?

John C. Galati|arXiv (Cornell University)|Nov 9, 2018

Sensory Analysis and Statistical Methods被引用数 1

ひとこと要約

この論文は、欠損データの標準的統計表記における数学的不整合性を特定し、YobsとYmisが観測値／欠損値だけでなく、観測可能／非観測可能な値の混合を示すために曖昧に使われている問題を指摘する。著者らは、データ値とその欠損状態のパターンを明示的に区別できる4記号表記（Yobs, Ymis, Robs, Rmis）を提案し、確率的モデリングにおける矛盾を解消し、複数の欠損状態パターン間での一貫性のある比較を可能にする。

ABSTRACT

In statistical modelling of incomplete data, missingness is encoded as a relation between datasets Y and response patterns R. The partitioning of Y into observed and missing components is often denoted Yobs and Ymis. We point out a mathematical defect in this notation which results from two different mathematical relationships between Y and R not being distinguished, (Yobs, Ymis, R) in which Yobs values are always observed, and Ymis values are always missing, and the overlaying of a missingness pattern onto the marginal distribution for Y, denoted (Yobs, Ymis). With the latter, Yobs and Ymis each denote mixtures of observable and unobservable data. This overlaying of the missingness pattern onto Y creates a link between the mathematics and the meta-mathematics which violates the stochastic relationship encoded in (Y, R). Additionally, in the theory there is a need to compare partitions of Y according to different missingness patterns simultaneously. A simple remedy for these problems is to use four symbols instead of two, and to make the dependence on the missingness pattern explicit. We explain these and related issues.

研究の動機と目的

• 統計モデルにおける観測データおよび欠損データを表すために用いられる従来の表記（Yobs, Ymis）に内在する数学的欠陥を特定すること。
• 現在の表記で混同されている、実際のデータ値とその欠損状態パターンの違いを明確にすること。
• Yの周辺分布に欠損状態パターンを重ねることで生じる矛盾を解消すること。これは、(Y, R)にエンコードされた確率的依存関係を破壊する。
• パターン依存性を明示することで、異なる欠損状態パターン下でのデータ分割の間で一貫した比較を可能にすること。
• 不確実性のない確率的関係を保つ、形式的かつ曖昧性のない表記体系を提案すること。

提案手法

• データ値とその欠損状態を明示的に分離できる4つの異なる記号（Yobs, Ymis, Robs, Rmis）を導入すること。
• 値が決定論的に観測または欠損であるとされる連合モデル (Yobs, Ymis, R) と、観測可能／非観測可能データの混合である周辺モデル (Yobs, Ymis) を区別すること。
• 確率的関係 (Y, R) を用いて欠損メカニズムを形式化し、依存構造を保つこと。
• 明示的なパターン依存性表記を用いて、異なるデータ分割における複数の欠損状態パターンを同時に比較可能にすること。
• 曖昧な表記（Yobs, Ymis）を、データ生成プロセスと欠損状態パターンを分離する構造的フレームワークに置き換えること。
• 欠損状態パターンを周辺分布Yに重ねることで、YとRの間の確率的関係が歪められることを示し、新しい表記がこれを防ぐこと。

実験結果

リサーチクエスチョン

• RQ1 従来の表記でデータ値とその欠損状態パターンを混同することで、どのような数学的不整合が生じるか？
• RQ2 Yの周辺分布に欠損状態パターンを重ねることで、(Y, R)にエンコードされた確率的関係がどのように破壊されるか？
• RQ3 決定論的欠損（Yobs, Ymis, R）と確率的混合（Yobs, Ymis）を区別する必要があるのはなぜか？
• RQ4 4記号表記が、異なる欠損状態パターン下でのデータ分割の比較の一貫性をどのように向上させるか？
• RQ5 不完全データを含む統計モデルの整合性を保つために、表記にどのような形式的変更が必要か？

主な発見

• 標準表記（Yobs, Ymis）は、データ値とその欠損状態を混同しており、周辺分布に欠損状態パターンを重ねることで数学的不整合を生じる。
• Yに欠損状態パターンを重ねることで、データとその欠損メカニズムの間の誤った関連性が生じ、(Y, R)に定義された確率的関係が破壊される。
• Yobs, Ymis, Robs, Rmisの4記号を用いることで、データ値とその欠損状態パターンを明示的に分離でき、曖昧性が解消され、モデルの整合性が保たれる。
• 提案された表記により、パターン依存性を明示することで、異なる欠損状態パターン下でのデータ分割の間で一貫した比較が可能になる。
• 再定式化により、YとRの間の確率的依存関係が保たれ、統計的推論における歪みが回避される。
• 本論文は、現在の表記がデータ生成プロセスの根本的な違いを隠蔽していることを示し、新しいフレームワークがこれを明確にすることを示している。