[論文レビュー] Simultaneous Missing Value Imputation and Structure Learning with Groups

Pablo Morales-Álvarez, Wenbo Gong+6 more|arXiv (Cornell University)|Oct 15, 2021

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本論文では、変分推論とグラフニューラルネットワーク（GNN）ベースのデコーダーを用いて、部分的に観測されたデータにおいて欠損値補完とグループごとの構造学習を同時に実行する深層生成モデルVISLを提案する。構造的潜在空間を用いてグループレベルの関係をモデル化し、合成データ、準合成データ、および実世界の教育データの全テストで最先端の性能を達成している。

ABSTRACT

Learning structures between groups of variables from data with missing values is an important task in the real world, yet difficult to solve. One typical scenario is discovering the structure among topics in the education domain to identify learning pathways. Here, the observations are student performances for questions under each topic which contain missing values. However, most existing methods focus on learning structures between a few individual variables from the complete data. In this work, we propose VISL, a novel scalable structure learning approach that can simultaneously infer structures between groups of variables under missing data and perform missing value imputations with deep learning. Particularly, we propose a generative model with a structured latent space and a graph neural network-based architecture, scaling to a large number of variables. Empirically, we conduct extensive experiments on synthetic, semi-synthetic, and real-world education data sets. We show improved performances on both imputation and structure learning accuracy compared to popular and recent approaches.

研究の動機と目的

• 欠損値を含むデータにおける変数グループ間の構造的関係を学習する課題に取り組むこと、特に教育分野のような実世界の応用を想定する。
• 完全なデータを必要とせず、欠損値補完とグループレベルの構造学習を統合的に実行できるスケーラブルな手法を開発すること。
• 構造的潜在空間とGNNベースのデコーダーを用いて、変数グループ間の複雑な依存関係をモデル化すること。
• スパarsityと不完全性が顕著な実世界の教育データ（トピックごとにグループ化された学生の質問回答）に対して本手法を評価すること。
• 既存手法と比較して、補完精度と構造学習の忠実度の両面で優れた性能を示すことを実証すること。

提案手法

• VISLは、構造（隣接行列）を表すグローバルな潜在変数と、各変数グループごとのローカルな潜在変数を持つ変分オートエンコーダーの枠組みを採用している。
• GNNベースのデコーダーを用いて、グループレベルの潜在表現間の相互作用をモデル化し、GNNのメッセージパッシング機構が推論された構造に依存する。
• 変分推論を活用して、構造と潜在変数の事後分布を同時に最適化し、欠損データ下でもエンドツーエンドの学習を可能にしている。
• 各グループが共有部分空間に埋め込まれる構造的潜在空間を導入し、グループ間の関係はGNNアーキテクチャによって制御される。
• 観測値を潜在変数とグローバル構造に条件づけてモデル化することで、明示的な補完ステップを回避し、欠損データを自然に処理する。
• 変数およびグループの数が多数ある高次元の実世界データ（例：教育評価データ）に対してもスケーラブルであり、適したフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 高次元で部分的に観測されたデータにおいて、深層生成モデルが欠損値補完とグループごとの構造学習を同時に実行できるか？
• RQ2 構造的潜在空間とGNNベースのデコーダーを統合することで、既存手法と比較して構造学習と補完精度がどのように向上するか？
• RQ3 実世界の教育データにおいて、VISLは補完と構造学習の両タスクで最先端のベースラインをどの程度上回るか？
• RQ4 合成および準合成データセットにおける異なる欠損度とグループサイズの不均一性に対して、VISLはどの程度頑健であるか？
• RQ5 教育分野のドメインエキスパートが、VISLが学習した構造を意味的に解釈可能に理解できるか？

主な発見

• Eedi教育データセットにおける因果的構造学習では、VISLがF1スコア0.615 ± 0.074を達成し、すべてのベースライン（MMHC：0.471 ± 0.061、DAG-GNN：0.257 ± 0.066）を顕著に上回った。
• 構造学習において、VISLは精度0.588 ± 0.042と再現率0.698 ± 0.052を達成し、実世界の教育データにおいて精度と再現率のバランスに優れた性能を示した。
• 拡張された合成実験では、VISLが隣接行列予測においてF1スコア0.635 ± 0.049を達成し、強力なMMHCベースラインをも上回った。
• 実世界の教育データにおいて、VISLは未回答の学生の質問回答を予測する精度が高く、優れた補完性能を示した。
• ドメインエキスパートによる検証では、VISLが基礎的トピックが上位のトピックに先行するなど、意味的に解釈可能な学習パスを同定した。
• グループサイズや欠損度の変動に対して、VISLはスケーラビリティと頑健性を示し、構造学習および補完タスクの両方で一貫した性能向上を達成した。