[論文レビュー] Contrastive Variational Autoencoder Enhances Salient Features

Abubakar Abid, James Zou|arXiv (Cornell University)|Feb 12, 2019

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 44

ひとこと要約

本論文は contrastive variational autoencoder (cVAE) を提案します。これはターゲットデータセットにとって顕著な潜在特徴を、背景データセットと対照的に分離することで学習し、これらの特徴に焦点を当てたデノイジングと生成を可能にします。

ABSTRACT

Variational autoencoders are powerful algorithms for identifying dominant latent structure in a single dataset. In many applications, however, we are interested in modeling latent structure and variation that are enriched in a target dataset compared to some background---e.g. enriched in patients compared to the general population. Contrastive learning is a principled framework to capture such enriched variation between the target and background, but state-of-the-art contrastive methods are limited to linear models. In this paper, we introduce the contrastive variational autoencoder (cVAE), which combines the benefits of contrastive learning with the power of deep generative models. The cVAE is designed to identify and enhance salient latent features. The cVAE is trained on two related but unpaired datasets, one of which has minimal contribution from the salient latent features. The cVAE explicitly models latent features that are shared between the datasets, as well as those that are enriched in one dataset relative to the other, which allows the algorithm to isolate and enhance the salient latent features. The algorithm is straightforward to implement, has a similar run-time to the standard VAE, and is robust to noise and dataset purity. We conduct experiments across diverse types of data, including gene expression and facial images, showing that the cVAE effectively uncovers latent structure that is salient in a particular analysis.

研究の動機と目的

• 背景データセットと比較してターゲットデータセットに富む潜在因子を特定する。
• 標準的なVAE が捉える以上の顕著な特徴を分離する非線形で深い生成モデルを開発する。
• VAEと同程度の実行時間で実用的なエンドツーエンドの訓練フレームワークを提供する。
• 多様なデータタイプに対して、背景ノイズとデータセットの純度に対する頑健性を示す。

提案手法

• ターゲットデータと背景データから顕著な潜在と無関係な潜在を推定するために、二つのエンコーダ q_phi_s(s|x) と q_phi_z(z|x) を導入する。
• 結合された (s,z) からターゲットデータを再構成し、(0,z) から背景データを再構成する単一デコーダ f_theta(s,z) を用いる。
• VAE の目的関数（式3と式4）に類似したターゲットと背景の尤度の変分下限を導出する。
• sとzの独立性を密度比ベースの識別器で促進する総相関（TC）項を含む、ターゲットと背景の目的の和の最大化を訓練する。
• 実務上、ジョイント (s,z) と周辺分布の積を識別する識別器で TC の推定を実装し、扱いやすい最適化を実現する。
• デノイングのために、入力がゼロのとき出力もゼロになるよう、ネットワークをゼロバイアスに制約するオプションを提供する。

実験結果

リサーチクエスチョン

• RQ1 対照的VAEは背景には存在せず、ターゲットデータで顕著な潜在特徴を同定できるか。
• RQ2 背景ノイズや混乱変動がある場合に、cVAEは標準のVAEと比較して顕著な特徴の回復やクラスタリングでどうなるか。
• RQ3 顕著な潜在変数のみを操作して、無関係な構造を再導入せずにサンプルを生成またはデノイズできるか。
• RQ4 異なる領域（画像、ゲノミクス）における背景データセットの品質とハイパーパラメータ設定に対する方法の頑健性はどれくらいか。

主な発見

• Grassy-MNIST では、cVAE の顕著な s-潜在が数字をクラスタリングするのに対し、標準 VAE では支配的な要因が草ノイズに関連する（シルエットスコア） 。
• RNA-Seqデータでは、cVAEが顕著潜在空間で移植前/後の状態によるクラスタリングを改善するのに対し、標準VAEとは異なる。
• CelebA では、cVAE が眼鏡や帽子などの属性を強調・操作でき、デノイジングは無関係な背景特徴を除去できる。
• 背景ノイズと控えめな背景の誤設定に対して頑健であり、背景がノイズが多くても性能を維持する。
• 実行時間とアーキテクチャの複雑さは標準的な VAE に似ており、追加の TC 項が分離性を改善する。