[論文レビュー] Why Not to Use Zero Imputation? Correcting Sparsity Bias in Training Neural Networks

Joonyoung Yi, Juhyuk Lee+2 more|arXiv (Cornell University)|Apr 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 3

ひとこと要約

本論文は、入力欠損率に応じてモデル性能が変動するという変動的欠損率問題（VSP）を、ゼロ補完を用いるニューラルネットワークにおける性能劣化の主な要因として特定した。本論文では、入力レベルの欠損率バイアスを是正するためのスパarsity正規化（SN）を提案し、多様なベンチマークにおいてモデルの精度と学習安定性を向上させた。

ABSTRACT

Handling missing data is one of the most fundamental problems in machine learning. Among many approaches, the simplest and most intuitive way is zero imputation, which treats the value of a missing entry simply as zero. However, many studies have experimentally confirmed that zero imputation results in suboptimal performances in training neural networks. Yet, none of the existing work has explained what brings such performance degradations. In this paper, we introduce the variable sparsity problem (VSP), which describes a phenomenon where the output of a predictive model largely varies with respect to the rate of missingness in the given input, and show that it adversarially affects the model performance. We first theoretically analyze this phenomenon and propose a simple yet effective technique to handle missingness, which we refer to as Sparsity Normalization (SN), that directly targets and resolves the VSP. We further experimentally validate SN on diverse benchmark datasets, to show that debiasing the effect of input-level sparsity improves the performance and stabilizes the training of neural networks.

研究の動機と目的

• 欠損データに対してゼロ補完を用いる場合のニューラルネットワークの性能劣化の根本原因を特定すること。
• 入力欠損率に応じてモデル出力が顕著に変動するという変動的欠損率問題（VSP）を形式化すること。
• ニューラルネットワーク学習における入力レベルの欠損率バイアスを直接是正する手法を提案すること。
• 提案手法の有効性を多様なベンチマークデータセットにおいて検証すること。

提案手法

• 変動的欠損率問題（VSP）を、欠損率の変動に伴う性能不安定性を説明する理論的枠組みとして導入する。
• 入力特徴量を正規化することで、欠損値に起因するスパarsityの影響を軽減するスパarsity正規化（SN）を提案する。
• 学習中に、特徴量の欠損パターンに応じてスケールを調整することで、勾配と予測の安定性を向上させる。
• 複雑なアーキテクチャの変更や追加パラメータを必要とせず、入力レベルで直接処理を行う。
• SNはシンプルで効果的であり、標準的なニューラルネットワーク学習パイプラインと互換性があるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 なぜゼロ補完はニューラルネットワーク学習において最適でない性能をもたらすのか？
• RQ2 入力データの欠損率がモデルの一般化性能および予測安定性にどのように影響するのか？
• RQ3 単純な正規化手法が、欠損データのスパarsityに起因するバイアスを効果的に是正できるか？
• RQ4 入力レベルのスパarsityバイアスを是正することで、多様なデータセットにおいて学習安定性とモデル精度が向上するか？

主な発見

• 変動的欠損率問題（VSP）は、ゼロ補完を用いるモデルにおける性能劣化の主な要因であると特定された。
• スパarsity正規化（SN）は、入力レベルのスパarsityの影響を効果的に低減し、より安定的かつ正確なモデル予測を実現した。
• SNは、欠損データに起因するバイアスを是正することで、多様なベンチマークデータセットにおいてモデル性能を向上させた。
• 特に高いまたは変動する欠損率下でも、SNは学習ダイナミクスの安定化を実現した。