[論文レビュー] Probabilistic Missing Value Imputation for Mixed Categorical and Ordered Data

Yuxuan Zhao, Alex Townsend+1 more|arXiv (Cornell University)|Oct 13, 2022

Data Management and Algorithms被引用数 4

ひとこと要約

本稿では、カテゴリカル変数と順序変数を併せ持つ混合データに対するハイパーパrameterフリーな確率的モデルとして、拡張ガウスコプーラ（EGC）を提案する。EGCは、カテゴリカル変数をargmaxベースでモデル化する潜在ガウス分布を用いる。本手法は、カテゴリカル変数および順序変数の両方で最先端の補完精度を達成し、単一補完および複数補完をサポートしており、合成データおよび実世界のデータセットにおいて、既存手法よりも精度と効率性に優れている。

ABSTRACT

Many real-world datasets contain missing entries and mixed data types including categorical and ordered (e.g. continuous and ordinal) variables. Imputing the missing entries is necessary, since many data analysis pipelines require complete data, but this is challenging especially for mixed data. This paper proposes a probabilistic imputation method using an extended Gaussian copula model that supports both single and multiple imputation. The method models mixed categorical and ordered data using a latent Gaussian distribution. The unordered characteristics of categorical variables is explicitly modeled using the argmax operator. The method makes no assumptions on the data marginals nor does it require tuning any hyperparameters. Experimental results on synthetic and real datasets show that imputation with the extended Gaussian copula outperforms the current state-of-the-art for both categorical and ordered variables in mixed data.

研究の動機と目的

• カテゴリカル変数と順序変数を含む混合型データセットにおける欠損値補完の課題に対処すること。
• 任意の符号化や前処理を必要とせず、無順序カテゴリカル変数を明示的にモデル化する確率的補完手法を開発すること。
• 下流の解析に適した不確実性の定量化を伴う、単一および複数補完を可能にすること。
• 周辺分布に関する仮定を一切行わず、ハイパーパrameterを必要としないモデルを構築すること。
• MICE、missForest、LRMCなどの既存手法よりも、特に高次元または縦長のデータ環境下で、より高いロバストネスと効率性を実現すること。

提案手法

• 拡張ガウスコプーラは、各カテゴリカル変数を潜在ガウスベクトルのargmaxとしてモデル化し、カテゴリの無順序性を保つ。
• 順序変数（連続および順序尺度）は、潜在ガウススカラーとしてモデル化され、依存関係は潜在相関行列によって捉えられる。
• 明示的な周辺分布モデル化を伴う潜在ガウスコプーラフレームワークを用い、周辺分布のパラメトリックな形を仮定せずに、同時分布推定を可能にする。
• ミニバッチ学習、並列処理、低ランク構造をサポートする、ロバストでスケーラブルなパラメータ適合アルゴリズムを提案する。
• 全条件付き分布からのサンプリングにより、複数補完が可能となり、カテゴリ確率と信頼区間が得られる。
• 同定可能であり、冗長なパラメータを有する先行手法とは異なり、任意のカテゴリカル周辺分布に一致可能である。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパrameterチューニングやデータ前処理を必要とせず、確率的補完モデルが混合カテゴリカルおよび順序データを効果的に処理できるか。
• RQ2 argmaxベースのカテゴリカル表現を有する潜在ガウスモデルが、混合データ内の複雑な依存構造をどれほど正確に捉えられるか。
• RQ3 拡張ガウスコプーラは、MICE、missForest、softImputeなどの最先端手法よりも、補完精度および計算効率の両面で優れているか。
• RQ4 モデルがカテゴリカル周辺分布を正確に推定し、複数補完に伴う不確実性を適切に伝搬できるか。
• RQ5 異なる欠損データメカニズムおよびデータスケール下での本手法の性能はいかがなものか。

主な発見

• 拡張ガウスコプーラ（EGC）は、合成データおよび実世界のデータセットにおいて、カテゴリカル変数および順序変数の両方で最先端の補完精度を達成した。
• n=1000の合成データセットにおいて、EGCはカテゴリカル誤差0.64(0.01)、連続誤差1.81(0.04)を達成し、missForestやsoftImputeを上回った。
• n=10000およびn=20000のケースでは、それぞれカテゴリカル誤差0.64(0.01)を維持し、missForestよりも著しく高速であった。
• EGCはカテゴリカル周辺分布のフィッティングに優れ、70のデータセットおよび異なるカテゴリ数の設定において、推定確率が実測分布に非常に近いことを示した。
• n=10000におけるEGCの実行時間は107(4)秒であったのに対し、missForestは1006(70)秒であり、精度を上回る4倍の高速化を達成した。
• EGCはカテゴリカルデータにおいてsoftImputeを常に上回ったが、順序変数では低い性能を示した。これは、データタイプを統合的にモデル化する必要性を強調している。