[論文レビュー] Optimal nonparametric testing of Missing Completely At Random and its connections to compatibility

Thomas B Berrett, Richard J. Samworth|arXiv (Cornell University)|May 17, 2022

Advanced Statistical Methods and Models被引用数 1

ひとこと要約

この論文は、Fréchetクラスの整合性と線形計画法に接続することで、完全に無作為に欠損（MCAR）の下での最適非パラメトリック検定を開発する。検出可能性を定量化する不整合インデックス R(PS) を導入し、最小最大分離率が対数要因を除いて達成されることを証明し、線形計画法による正確な計算を可能にし、離散データにおけるMCAR仮定下でRパッケージ MCARtest に実装されている。

ABSTRACT

Given a set of incomplete observations, we study the nonparametric problem of testing whether data are Missing Completely At Random (MCAR). Our first contribution is to characterise precisely the set of alternatives that can be distinguished from the MCAR null hypothesis. This reveals interesting and novel links to the theory of Fr\'echet classes (in particular, compatible distributions) and linear programming, that allow us to propose MCAR tests that are consistent against all detectable alternatives. We define an incompatibility index as a natural measure of ease of detectability, establish its key properties, and show how it can be computed exactly in some cases and bounded in others. Moreover, we prove that our tests can attain the minimax separation rate according to this measure, up to logarithmic factors. Our methodology does not require any complete cases to be effective, and is available in the R package MCARtest.

研究の動機と目的

• MCAR帰無仮説の下で統計的に検出可能な代替仮説の集合を特定すること。
• MCAR検定とFréchetクラスおよび分布整合性理論の間の明確な関係を確立すること。
• 有限標本における第一種過誤を制御し、すべての検出可能な代替仮説に対して一貫性を持つ非パラメトリック検定を開発すること。
• 検出可能性の測度としての不整合インデックス R(PS) を定義し、その計算を行うこと。
• 提案された検定が最小最大分離率を対数要因を除いて達成することを証明すること。

提案手法

• Kellerer (1984) の双対定理を用いて、同時分布の整合性を特徴づけ、不整合性のための検定を可能にする。
• 不整合インデックス R(PS) を、実行可能領域上の線形汎関数の上界として定式化し、線形計画法により正確に計算可能である。
• 離散データの場合、観測パターン下での経験的周辺分布から検定統計量が導かれるが、正確な第一種過誤制御が可能である。
• 計算幾何学のアルゴリズムを活用して、特に2値の場合に特に取り扱いやすい R(PS) の解析的表現を導出する。
• 連続的設定の近似のための離散化スキームを導入し、ビンサイズが小さくなるに従って収束保証が得られる。
• 検定はRパッケージ MCARtest に実装されており、さまざまな設定における R(PS) の正確計算と境界値の計算をサポートする。

実験結果

リサーチクエスチョン

• RQ1 不完全なデータが与えられたもとで、MCARからのどの代替仮説が統計的に検出可能か？
• RQ2 形式的な不整合の測度を用いて、MCAR違反の検出可能性をどのように定量化できるか？
• RQ3 有限標本における第一種過誤を制御し、すべての検出可能な代替仮説に対して一貫性を持つMCARの非パラメトリック検定を構築できるか？
• RQ4 MCAR違反を検出するための最適分離率は何か？ そして、その検定がそれを達成できるか？
• RQ5 不整合インデックス R(PS) は、検出の最小最大レートとどのように関係するか？

主な発見

• MCARからの検出可能な代替仮説の集合は、観測された周辺分布がFréchetの意味で不整合である場合に正確に一致する。
• 不整合インデックス R(PS) は線形汎関数の上界として定義され、検出可能性の自然な測度として機能する。
• R(PS) の正確な計算は線形計画法により可能であり、正確な計算が困難な場合には境界値が利用可能である。
• 提案された検定は、d=3 および特定のアルファベットサイズに対して最小最大下界を用いた解析により、対数要因を除いて最小最大分離率を達成することが示された。
• d=3 で |X1|=r, |X2|=s, |X3|=2 の場合、r, s および標本サイズに関して、対数要因を除いて最適な分離率が達成される。
• 本手法は完全ケースを必要とせず、Rパッケージ MCARtest に実装されており、R(PS) の正確および近似計算をサポートする。