[論文レビュー] Unsupervised Data Imputation via Variational Inference of Deep Subspaces

Adrian V. Dalca, John V. Guttag+1 more|arXiv (Cornell University)|Mar 8, 2019

AI in cancer detection参考文献 50被引用数 5

ひとこと要約

本論文は、変分推論を用いた深層非線形部分空間上で、欠損ピクセルの補完を目的とした教師なし深層生成モデルを提案する。スパースネスに配慮したニューラルネットワークブロックを導入し、データセット全体の構造を活用することで、線形モデルや深層画像プライア（Deep Image Priors）を凌駕する。特に極度のスパarsity条件下でも、MNISTおよび臨床的MRIデータ（83%欠損）を用いた実験でその有効性が示された。

ABSTRACT

A wide range of systems exhibit high dimensional incomplete data. Accurate estimation of the missing data is often desired, and is crucial for many downstream analyses. Many state-of-the-art recovery methods involve supervised learning using datasets containing full observations. In contrast, we focus on unsupervised estimation of missing image data, where no full observations are available - a common situation in practice. Unsupervised imputation methods for images often employ a simple linear subspace to capture correlations between data dimensions, omitting more complex relationships. In this work, we introduce a general probabilistic model that describes sparse high dimensional imaging data as being generated by a deep non-linear embedding. We derive a learning algorithm using a variational approximation based on convolutional neural networks and discuss its relationship to linear imputation models, the variational auto encoder, and deep image priors. We introduce sparsity-aware network building blocks that explicitly model observed and missing data. We analyze proposed sparsity-aware network building blocks, evaluate our method on public domain imaging datasets, and conclude by showing that our method enables imputation in an important real-world problem involving medical images. The code is freely available as part of the \verb|neuron| library at http://github.com/adalca/neuron.

研究の動機と目的

• 完全に観測されたデータが利用できない状況下での、医療画像分野で一般的に見られる欠損画像データの教師なし補完を解決すること。
• 主成分分析（PCA）のような線形部分空間モデルの限界を超えて、高次元スパース画像データに内在する複雑な非線形相関をモデル化すること。
• 変分推論と深層ニューラルネットワークを統合した、欠損データ回復に向けた原理的で確率的フレームワークの構築。
• すべてのスパース画像に共通するグローバルで共有された潜在表現を学習することで、条件付き平均補完と複数の補完を可能とすること。
• 臨床的MRIデータにおいて極度のスパarsity（例：83%欠損ピクセル）が生じる状況でも、本手法の有効性を実証すること。

提案手法

• スパースな高次元画像データが、深層非線形潜在部分空間から変分オートエンコーダーに類似したフレームワークで生成される確率的モデルを提案する。
• 欠損データが存在する状況下での潜在変数の事後分布を近似するために、畝状ニューラルネットワークを用いた変分推論アルゴリズムを導出する。
• 順伝播および逆伝播の両過程において、観測済みデータと欠損データを明示的にモデル化するスパースネスに配慮した全結合層および畳み込み層を導入する。
• 最適化のための変分下界（ELBO）を用い、再パラメータライゼーショントリックにより、不完全なデータ上でエンドツーエンドの学習を可能にする。
• すべての画像に共通するグローバルな潜在表現を活用し、画像間の相関関係を捉えることで、極度のスパarsity下でも補完が可能となる。
• 合成データ（MNIST、Fashion-MNIST）および実臨床MRIデータセットに本手法を適用し、スパースネスに配慮したコンponentsを有する・ないバージョンを比較する。

実験結果

リサーチクエスチョン

• RQ1 極度のスパarsity下において、深層非線形部分空間モデルは線形部分空間モデルを上回る性能を示せるか？
• RQ2 標準的なアーキテクチャと比較して、明示的なスパースネスに配慮したネットワーク層を組み込むことで、補完性能はどのように向上するか？
• RQ3 スパース画像間で共有されるグローバルな潜在表現は、個々の画像に特化した手法（例：Deep Image Priors）よりも優れた補完を可能にするか？
• RQ4 完全な観測データが利用できない状況下で、本手法は教師あり補完ベースラインと比較してどのように性能を発揮するか？
• RQ5 83%のピクセルが欠損している臨床的MRIスキャンにおいて、本モデルは微細な解剖的構造をどの程度正確に再構成できるか？

主な発見

• スパースネスに配慮した畳み込み層および全結合層を有する本手法は、MNISTおよびFashion-MNISTの全スパarsityレベルにおいて、線形モデルや標準的なVAEバージョンを上回る最良の再構成性能を達成した。
• 83%のスライスが欠損している脳MRIデータセットにおいて、本手法は解剖学的に妥当な再構成を生成したが、線形部分空間モデルや補間手法では顕著なアーチファクトが生じた。
• 1スライスあたりの推論時間は18.6 ± 13.7 msと非常に短く、反復的最適化を要するDeep Image Priors（1画像あたり36.5 ± 0.2秒）と比べて顕著に高速であった。
• スパースネスに配慮したネットワークコンponentsは不可欠であった：非線形アーキテクチャであっても、それらを欠如させたモデルは極度のスパarsity下で一般化に失敗した。
• 本手法は、画像間の相関関係を活用することで優れた一般化性能を示し、個々の画像に観測ピクセルが極めて少ない場合でも正確な補完が可能であった。
• Deep Image Priorsと比較して、本手法はスケールにわたって優れた再構成品質を達成した。DIPは個々の画像のデータが不足する高スパarsity条件下で失敗したため。