[論文レビュー] Processing of missing data by neural networks

Marek Śmieja, Łukasz Struski+3 more|arXiv (Cornell University)|May 18, 2018

Neural Networks and Applications参考文献 34被引用数 68

ひとこと要約

この論文は、欠損データをニューラルネットワークで処理する一般的で理論的に正当化されたアプローチを提示します。最初の隠れ層ニューロンの応答を欠損データ密度に対する期待値へ置換することで、 incomplete data での訓練を可能にし、補完ベースの手法のいくつかを上回る性能を発揮します。

ABSTRACT

We propose a general, theoretically justified mechanism for processing missing data by neural networks. Our idea is to replace typical neuron's response in the first hidden layer by its expected value. This approach can be applied for various types of networks at minimal cost in their modification. Moreover, in contrast to recent approaches, it does not require complete data for training. Experimental results performed on different types of architectures show that our method gives better results than typical imputation strategies and other methods dedicated for incomplete data.

研究の動機と目的

• ニューラルネットワークにおける欠損データからの学習の課題を動機づけ、形式化する。
• 観測された部分空間に制限された条件密度を用いた欠損データの確率的表現を提案する。
• 最初の層のニューロンの活性化を、具体的な入力ではなく確率分布上で動作させるよう一般化する。
• 提案手法の一般化が情報を保ち、普遍近似性の性質を達成することを示す。
• 自動エンコーダ、MLP、RBF ネットワークを対象とした実データセットでの実用的な有効性を示す。

提案手法

• Incomplete なデータ点 (x, J) を、観測座標に対応するアファイン部分空間 S 上の条件付き密度 F_S で表現する。
• 欠損データ密度 F を対角ガウスの混合 (GMM) によってモデル化し、条件付き密度 F_S を計算するための正則化を適用する。
• 最初の層ニューロンの活性化を一般化して、完全データの n(x) の代わりに出力 n(F_S) の期待値を計算する。
• Gaussian mixture 入力下での一般化 ReLU および RBF 活性化について閉形式の表現を導出する（Theorem 3.1 および Theorem 3.2）。
• 訓練時には incomplete data を用いて GMM のパラメータとネットワーク重みを jointly 学習することで、端-to-end の訓練を説明する。
• ReLU ベースのネットワークで一般化活性化を用いることで、測度の identifiability を保持する universaI approximation の結果を示す（Theorem 4.1）。

実験結果

リサーチクエスチョン

• RQ1 欠損データを補完して単一値を推定することなく、ニューラルネットワークはどのように処理できるか。
• RQ2 確率的な密度を用いて欠損データを表現し、ネットワークを大きな構造変更を加えることなく伝搬させることは可能か。
• RQ3 一般化された最初の層の活性化は universal function approximation に必要な情報を保持するか。
• RQ4 提案密度ベースのアプローチを用いた incomplete data での訓練は、標準的な補完法や context-encoder 法と比べてどうか。

主な発見

• この方法は、完全データを用意できないデータセット上でもニューラルネットワークを訓練できることを示す。
• Gaussian mixture 入力下での一般化 ReLU および RBF 活性化は閉形式で計算可能で、実装を現実的にする。
• 自動エンコーダ、MLP、RBF ネットワークにわたる実験結果は、標準の補完法やいくつかのベースライン法に比べ有利な性能を示す。
• MNIST ベースの再構成では、提案法は k-NN、平均補完、ドロップアウト、いくつかの context-encoder ベースラインよりも鋭い結果と低い誤差を示す。
• ESR EEG データ上では、本法は競争力のある精度を達成し、従来の補完技術を上回ることが多く、 incomplete training data を用いた context-encoder の性能と一致する。
• いくつかの internal missing 属性を含む UCI データセット全体において、本アプローチは伝統的な補完法や直接カーネル法を頻繁に上回る。