[論文レビュー] Learning to Generate with Memory

Chongxuan Li, Jun Zhu+1 more|arXiv (Cornell University)|Feb 24, 2016

Generative Adversarial Networks and Image Synthesis参考文献 46被引用数 15

ひとこと要約

この論文では、微分可能なアテンション機構を用いて外部メモリを変分オートエンコーダーと統合する深層生成モデル、MEM-VAEを提案する。非対称な識別ネットワークにより不変表現学習と詳細生成を分離することで、複数のデータセットにおいて密度推定、画像生成、欠損値補完の分野で最先端の結果を達成した。

ABSTRACT

Memory units have been widely used to enrich the capabilities of deep networks on capturing long-term dependencies in reasoning and prediction tasks, but little investigation exists on deep generative models (DGMs) which are good at inferring high-level invariant representations from unlabeled data. This paper presents a deep generative model with a possibly large external memory and an attention mechanism to capture the local detail information that is often lost in the bottom-up abstraction process in representation learning. By adopting a smooth attention model, the whole network is trained end-to-end by optimizing a variational bound of data likelihood via auto-encoding variational Bayesian methods, where an asymmetric recognition network is learnt jointly to infer high-level invariant representations. The asymmetric architecture can reduce the competition between bottom-up invariant feature extraction and top-down generation of instance details. Our experiments on several datasets demonstrate that memory can significantly boost the performance of DGMs and even achieve state-of-the-art results on various tasks, including density estimation, image generation, and missing value imputation.

研究の動機と目的

• 下流の抽象化過程で失われるローカルな詳細情報の保持に課題を抱える深層生成モデルの限界を解消すること。
• モデルサイズや計算負荷を増大させることなく、深層生成モデルの生成品質を向上させること。
• 外部メモリとアテンションを備えた生成モデルのエンドツーエンド学習を可能にし、より良い表現学習を実現すること。
• 非対称な識別ネットワークにより、不変特徴抽出と詳細生成の間の競合を軽減すること。
• 密度推定、画像生成、欠損値補完の各タスクで最先端の性能を示すこと。

提案手法

• 大規模な外部メモリとソフトアテンション機構を備えた深層生成モデルを導入し、局所的な詳細情報を格納・取得する。
• データ尤度の変分下界を最適化するために確率的変分推論フレームワークを用いる。
• 生成ネットワークよりも単純な非対称な識別ネットワークを採用し、生成と競合せずに不変特徴を抽出する。
• メモリとアテンションを滑らかな非線形関数でパrameter化することで、エンドツーエンドの微分可能性と学習を保証する。
• 確率的層と決定的層を交互に配置し、各決定的層に関連するメモリを設ける。
• 欠損値補完にはマルコフ連鎖推論プロセスを適用し、潜在因子と欠損データを繰り返し精緻化する。

実験結果

リサーチクエスチョン

• RQ1 外部メモリとアテンションを備えたモデルは、深層生成モデルの生成品質を向上させることができるか？
• RQ2 メモリは、下流の抽象化過程で失われるローカルな詳細情報をどのように保存するのか？
• RQ3 非対称な識別ネットワークは、不変特徴学習と詳細生成の間の競合を軽減できるか？
• RQ4 提案手法は、密度推定と画像生成の分野で最先端の性能を達成できるか？
• RQ5 さまざまなノイズパターン下でも、モデルは効果的に欠損値補完を実行できるか？

主な発見

• Frey facesデータセットにおいて、ミニバッチサイズ100でMEM-VAEはテストlog密度1330 natsを達成し、VAEの1308 natsを上回った。
• ミニバッチサイズ10では、MEM-VAEが1240 natsを達成したのに対し、VAEは1055 natsにとどまり、優れた性能を示した。
• MEM-VAEのランダムサンプルは、VAEのサンプルと比較して一貫して明瞭で詳細が豊かであり、特にノイズが多い環境やバッチサイズが小さい場合に顕著だった。
• MNISTでは、MEM-VAEはVAEと比較して、RECT-12で2.9%、RAND-0.6で3.6%、HALFで2.0%のMSE低減を達成した。
• 定性的な結果から、MEM-VAEは顔の表情や構造的詳細において、より一貫性があり現実的な画像を生成することが分かった。
• 全評価タスクにおいて、MEM-VAEは密度推定、画像生成、欠損値補完の分野で最先端の結果を達成した。