[論文レビュー] Semi-supervised Learning with Missing Values Imputation

Buliao Huang, Yunhui Zhu+2 more|arXiv (Cornell University)|Jun 3, 2021

Machine Learning and Data Classification参考文献 44被引用数 4

ひとこと要約

本稿では、欠損値推定と分類精度の向上に向け、ラベル情報を活用する半教師付き条件付きノーマライジングフロー（SSCFlow）を提案する。不完全なインスタンスの条件付き分布を半教師付きノーマライジングフローでモデル化し、ノイズ除去オートエンコーダを用いて汚染された推定値を繰り返し精錬することで、欠損値を含む多数の現実世界のデータセットで最先端の性能を達成する。

ABSTRACT

Incomplete instances with various missing attributes in many real-world applications have brought challenges to the classification tasks. Missing values imputation methods are often employed to replace the missing values with substitute values. However, this process often separates the imputation and classification, which may lead to inferior performance since label information are often ignored during imputation. Moreover, traditional methods may rely on improper assumptions to initialize the missing values, whereas the unreliability of such initialization might lead to inferior performance. To address these problems, a novel semi-supervised conditional normalizing flow (SSCFlow) is proposed in this paper. SSCFlow explicitly utilizes the label information to facilitate the imputation and classification simultaneously by estimating the conditional distribution of incomplete instances with a novel semi-supervised normalizing flow. Moreover, SSCFlow treats the initialized missing values as corrupted initial imputation and iteratively reconstructs their latent representations with an overcomplete denoising autoencoder to approximate their true conditional distribution. Experiments on real-world datasets demonstrate the robustness and effectiveness of the proposed algorithm.

研究の動機と目的

• 補完段階でラベル情報を無視する従来の2段階補完・分類パイプラインの制限を解消すること。
• 既存手法における欠損値の信頼性の低い初期化が引き起こす低性能を克服すること。
• 条件付き分布推定を共同最適化することで、補完と分類の両方を同時に改善すること。
• 生成プロセスにラベルの事前知識を組み込むことで、ラベル付きおよびラベルなしのインスタンスを併用した不完全なデータからの有効な学習を可能にすること。
• 欠損値を汚染された特徴とみなして、半教師付き潜在空間モデリングを用いて再構築する、頑健なフレームワークの開発。

提案手法

• ラベルを条件として与えた不完全インスタンスの条件付き分布を推定する半教師付き条件付きノーマライジングフロー（SSCFlow）を提案する。
• ノーマライジングフローに観測済みのラベルを追加特徴として統合し、補完と分類を同時にガイドする。
• 観測されないラベルを欠損値として扱い、エンドツーエンドの学習プロセスの中で再構築する。
• 過剰なノイズ除去オートエンコーダを用いて、汚染された完全な特徴を繰り返し再構築し、欠損値の真の条件付き分布を近似する。
• ノーマライジングフローで可逆変換を採用することで、正確な尤度推定と条件付き分布からの効率的なサンプリングを可能にする。
• 補完ヘッドと分類ヘッド間でパラメータを共有することで、特徴と重みの共有を実現し、一般化性能と一貫性を向上させる。

(a) imputation with estimated data distribution

実験結果

リサーチクエスチョン

• RQ1 条件付き分布推定を用いた補完と分類の統合は、タスクを分離する従来の2段階アプローチを上回る性能を発揮できるか？
• RQ2 補完段階でラベル情報を組み込むことで、欠損値推定の品質と下流の分類精度にどのような影響を与えるか？
• RQ3 1段階補完と比較して、汚染された補完値の反復的再構築が性能にどの程度寄与するか？
• RQ4 半教師付き条件付きノーマライジングフローの使用により、潜在空間における意思決定境界の分離性と解釈可能性が向上するか？
• RQ5 SSCFlowの異なる構成要素（例：IDM, IT, LS）は全体の性能にどの程度寄与しており、特に重要なのはどれか？

主な発見

• SSCFlowは、MCFlowおよび他の最先端手法と比較して、全テストデータセットで最高の分類精度（ACC）を達成し、HTRU2データセットでは顕著な向上を示した（0.9686 ± 0.5218 対 0.9602 ± 0.0020）。
• 乳がんデータセットでは、98.37% ± 0.0082 の精度を達成し、2番目に優れた手法（93.85% ± 0.0135）を著しく上回った。
• MDSを用いた可視化により、SSCFlowが生成する潜在空間表現は、明確なクラス分離性とより自然なクラスタリング境界を示しており、解釈性の向上が裏付けられた。
• アブレーションスタディの結果、SSCFlowの全構成要素（IDM, IT, LS）が性能向上に寄与しており、特にSSCFlow-LSは補完性能が最も低かった。これは、ラベルの影響が損失関数にとどまらず、生成プロセスそのものに影響を与える必要があることを示している。
• XGBoost（補完を経ずに不完全データを直接分類）は、大多数のデータセットで最も悪い性能を示し、欠損値の分布を無視することで性能が劣化することを裏付けた。
• 本モデルは、バンクノート、センサーレス、WiFiロケーションなど多様な現実世界のデータセットに対して、補完と分類の両面で一貫した改善を示し、高い頑健性を示した。

(b) imputation with estimated conditional distribution