[論文レビュー] Transformed Distribution Matching for Missing Value Imputation

He Zhao, Ke Sun+2 more|arXiv (Cornell University)|Feb 20, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、データを潜在空間に写像する可逆変換を学習し、最適輸送を用いた分布マッチングを実行する、未知の欠損値補完手法「変換分布マッチング（TDM）」を提案する。Wasserstein距離の最小化を通じて変換と欠損値補完を同時に学習することにより、最小限のハイパーパrameterチューニングで多様なデータセットおよび欠損メカニズムにおいて最先端の性能を達成する。

ABSTRACT

We study the problem of imputing missing values in a dataset, which has important applications in many domains. The key to missing value imputation is to capture the data distribution with incomplete samples and impute the missing values accordingly. In this paper, by leveraging the fact that any two batches of data with missing values come from the same data distribution, we propose to impute the missing values of two batches of samples by transforming them into a latent space through deep invertible functions and matching them distributionally. To learn the transformations and impute the missing values simultaneously, a simple and well-motivated algorithm is proposed. Our algorithm has fewer hyperparameters to fine-tune and generates high-quality imputations regardless of how missing values are generated. Extensive experiments over a large number of datasets and competing benchmark algorithms show that our method achieves state-of-the-art performance.

研究の動機と目的

• 複雑で高次元のデータ分布を示すデータセットにおける欠損値補完の課題に対処すること。
• 完全なデータ分布の明示的モデリングや真の欠損値の知識を必要としない手法を開発すること。
• データの幾何構造をよりよく捉えるために学習された可逆変換を活用することで、従来の分布マッチング手法を改善すること。
• 単一の損失関数を導入することで、ハイパーパrameterチューニングの依存度を低減し、簡単な訓練手続きを実現すること。
• タスク固有の適応なしに、MCAR、MAR、MNARの複数の欠損メカニズムにおいて安定した性能を発揮すること。

提案手法

• 本手法は、深層可逆ニューラルネットワーク（INNs）を用いて、観測済みおよび不完全なデータサンプルを共通の潜在空間に変換する。
• 潜在空間では、2つのバッチから得た変換済みサンプル間のWasserstein-2距離を最小化することで、分布の整合性を強制する。
• 訓練目的関数は、観測値の再構成損失と変換済みバッチ間の最適輸送距離を組み合わせており、変換と補完の共同学習を可能にする。
• ネットワークの可逆性により、モデルの崩壊を防ぎ、欠損値の忠実な再構成が保証される。
• 単一の損失関数を用いてエンドツーエンドで訓練されるため、複雑さとハイパーパrameterへの感受性が低減される。
• 本手法は欠損メカニズムに不変であるため、MCAR、MAR、MNARの設定においても堅牢である。

実験結果

リサーチクエスチョン

• RQ1 データ空間での直接的なマッチングと比較して、潜在空間にデータを変換することで、欠損値補完のための分布マッチングが向上するか？
• RQ2 データ幾何構造を保持する可逆変換を学習することで、標準的な分布マッチング手法と比較して、補完品質が向上するか？
• RQ3 単一の統一された損失関数が、最小限のハイパーパrameterチューニングで変換と補完の効果的な共同学習を可能にするか？
• RQ4 提案手法は、多様なデータセットおよび欠損メカニズム（MCAR、MAR、MNAR）においてどのように性能を発揮するか？
• RQ5 潜在空間での改善された分布マッチングは、分類などの下流タスクの性能向上にどのように寄与するか？

主な発見

• TDMは、MAE、RMSE、W22指標において、OTImputer、SoftImpute、MIRACLEを含む既存手法を上回る最先端の性能を、広範なデータセットで達成した。
• 複数のデータセットおよび欠損メカニズムにおいて、平均してTDMは次善のベースライン比でMAEを最大15%まで低減した。
• TDMは訓練中に優れた安定性を示し、glass や blood_transfusion のような小さなデータセットにおいてOTImputerで観察された過学習問題を回避した。
• 補完済みデータを用いた場合、TDMは一貫して下流の分類精度を向上させ、真の完全データで訓練されたモデルに近い性能を達成した。
• OTImputerに比べて1イテレーションあたり2〜3倍遅いが、計算コストを上回る性能向上が得られたため、そのコストは正当化された。
• TDMはデータ空間でのWasserstein距離の直接最小化を行わないにもかかわらず、OTImputerを著しく上回った。これは、潜在空間でのマッチングがデータ幾何構造をより効果的に捉えていることを示している。