[論文レビュー] Autoencoders and Probabilistic Inference with Missing Data: An Exact Solution for The Factor Analysis Case

Christopher K. I. Williams, Charlie Nash+1 more|arXiv (Cornell University)|Jan 11, 2018

Computational and Text Analysis Methods参考文献 2被引用数 11

ひとこと要約

この論文は、欠損データがある場合の要因分析モデルにおける潜在変数の正確な事後分布推論の解析的解を提示し、各固有の欠損パターンに対してエンコーダーネットワークを再訓練する必要があることを示している。この手法により、反復的でない、1回の順伝播による推論が可能となり、平均補完やFCA、SCA、ノイズ除去オートエノードラなど近似手法を凌駝する。特に、訓練時において欠損パターンが事前に分かっている場合に顕著な性能向上が得られる。

ABSTRACT

Latent variable models can be used to probabilistically "fill-in" missing data entries. The variational autoencoder architecture (Kingma and Welling, 2014; Rezende et al., 2014) includes a "recognition" or "encoder" network that infers the latent variables given the data variables. However, it is not clear how to handle missing data variables in this network. The factor analysis (FA) model is a basic autoencoder, using linear encoder and decoder networks. We show how to calculate exactly the latent posterior distribution for the factor analysis (FA) model in the presence of missing data, and note that this solution implies that a different encoder network is required for each pattern of missingness. We also discuss various approximations to the exact solution. Experiments compare the effectiveness of various approaches to filling in the missing data.

研究の動機と目的

• 入力データに欠損値が含まれる確率的オートエノードラにおける潜在変数の正確な事後分布推論を実現する挑戦に応えること。
• 線形ガウス分布の仮定を用いて、欠損データ下での要因分析モデルにおける事後分布の閉形式解を導出すること。
• 最適なエンコーダーネットワークが欠損の具体的なパターンに非自明に依存することを示し、各パターンごとに別個のモデルを必要とすることを明らかにすること。
• 平均補完、FCA、SCA、ノイズ除去オートエノードラなどの実用的近似手法と比較し、補完精度の観点から正確な解の性能を評価すること。
• 特に訓練時とテスト時の欠損パターンが異なる場合に、これらの手法の頑健性と限界を評価すること。

提案手法

• ベイズの定理を用いて、ガウス的事前分布と尤度関数を仮定し、要因分析における正確な事後分布 $p(\mathbf{z}|\mathbf{x}_v, \mathbf{m})$ を導出する。
• 式 (1) と (2) を用いて、事後平均と分散を閉形式で表現する。$\Sigma_{\mathbf{z}|\mathbf{x}_v} = (I_K + W_v^T \Psi_v^{-1} W_v)^{-1}$ および $\bm{\mu}_{\mathbf{z}|\mathbf{x}_v} = \Sigma_{\mathbf{z}|\mathbf{x}_v} W_v^T \Psi_v^{-1} (\mathbf{x}_v - \bm{\mu}_v)$。
• 欠損の有無を表す対角行列 $M$ を用いて事後分布を再定式化し、$\Sigma_{\mathbf{z}|\mathbf{x}_v} = (I_K + W^T M \Psi^{-1} M W)^{-1}$ とすることで、欠損パターンへの依存関係を明確に示す。
• 3つの近似手法を提案：FCA（完全データを前提とした要因分析）、SCA（構造的条件付きオートエノードラ）、および合成された欠損パターンに合わせて学習されたノイズ除去オートエノードラ。
• 入力が汚染された状態から潜在変数を予測するようにノイズ除去オートエノードラを学習し、テスト時の期待される欠損パターンと一致させる。
• Frey顔データセットを用いて、ランダム欠損と構造的欠損の両方に対して、すべての近似手法を評価する強力なベースラインとして正確な解を用いる。

実験結果

リサーチクエスチョン

• RQ1 欠損データを伴う要因分析モデルにおいて、閉形式解を用いて潜在変数の正確な事後分布推論が可能かどうか。
• RQ2 入力における欠損データの具体的なパターンが、最適なエンコーダーネットワークにどのように依存するか。
• RQ3 平均補完、FCA、SCA、ノイズ除去オートエノードラなどの近似推論手法が、正確な解と比較して補完精度においてどの程度優れているか。
• RQ4 訓練時とテスト時の欠損パターンが一致しない場合、ノイズ除去オートエノードラの性能にどのような影響が生じるか。
• RQ5 線形モデルにおける正確な推論の知見が、欠損データを伴う非線形オートエノードラの推論メカニズム設計にどのように応用できるか。

主な発見

• 閉形式による事後分布計算に基づく正確な推論手法は、Frey顔データセットにおけるランダム欠損と構造的欠損の両パターンにおいて、最小の平均二乗補完誤差を達成した。
• ノイズ除去オートエノードラは、訓練時にランダム欠損を用いたが、テスト時に構造的欠損（例：四分の一欠損）を処理する際には性能が著しく低下し、パターンの不一致に敏感であることが示された。
• 四分の一欠損パターンでは、ノイズ除去オートエノードラがわずかに正確な推論を上回ったが、これは正確な推論で用いられるPPCAモデルと真のデータ分布との不一致による可能性が高い。
• FCAとSCAは平均補完より段階的な改善を示し、SCAはFCAを上回った。これは、欠損の構造的モデリングが補完精度を向上させることを示唆している。
• 可視データが増えるにつれて事後不確実性が低下し、特に口元のような領域はより長く不確実性が残る。これは、モデルが局所的な構造に敏感であることを示している。
• ノイズ除去オートエノードラの訓練誤差とテスト誤差の差は、訓練時に完全なデータの事後分布へのアクセスを活用しているが、これはテスト時には利用できないことを示唆している。