[論文レビュー] Moment Matching Deep Contrastive Latent Variable Models

Ethan Weinberger, Nicasia Beebe-Wang+1 more|arXiv (Cornell University)|Feb 21, 2022

Machine Learning in Healthcare被引用数 6

ひとこと要約

本論文は、最大平均差分（MMD）正則化を用いて、対照的潜在変数モデリングにおける2つの主要な制約——顕著要因と背景要因の分離——を明示的に強制する、モーメントマッチング対照的VAE（MM-cVAE）を提案する。MM-cVAEは、3つの挑戦的な対照的分析タスクにおいて、従来の最先端モデルを上回り、より優れた分離性、向上した下流分類性能、および同等のサンプル品質を達成した。

ABSTRACT

In the contrastive analysis (CA) setting, machine learning practitioners are specifically interested in discovering patterns that are enriched in a target dataset as compared to a background dataset generated from sources of variation irrelevant to the task at hand. For example, a biomedical data analyst may seek to understand variations in genomic data only present among patients with a given disease as opposed to those also present in healthy control subjects. Such scenarios have motivated the development of contrastive latent variable models to isolate variations unique to these target datasets from those shared across the target and background datasets, with current state of the art models based on the variational autoencoder (VAE) framework. However, previously proposed models do not explicitly enforce the constraints on latent variables underlying CA, potentially leading to the undesirable leakage of information between the two sets of latent variables. Here we propose the moment matching contrastive VAE (MM-cVAE), a reformulation of the VAE for CA that uses the maximum mean discrepancy to explicitly enforce two crucial latent variable constraints underlying CA. On three challenging CA tasks we find that our method outperforms the previous state-of-the-art both qualitatively and on a set of quantitative metrics.

研究の動機と目的

• 対照的分析（CA）の根本的仮定、特に顕著要因と背景要因の分離を明示的に強制しない既存の対照的VAEの限界に対処すること。
• 従来の深層潜在変数モデルでしばしば無視されるCAの背後にある2つの主要な制約を特定・形式化すること：(1) 背景要因はターゲットとバックグラウンドの両データセットで共有されること、(2) 顕著要因はターゲットに固有であること。
• 複雑な敵対的訓練に依存せずにこれらの制約を強制する訓練目的関数を開発することにより、対照的表現学習における頑健性と解釈可能性を向上させること。
• これらの制約を明示的に強制することで、より優れた分離された表現が得られ、クラス分離や異常検出などの下流対照的タスクで性能が向上するかどうかを評価すること。

提案手法

• ターゲットとバックグラウンドの両方で共有される背景潜在変数と、ターゲットデータに固有の顕著潜在変数を用いる、対照的VAEフレームワークを提案する。
• 2つのMMDに基づく正則化項を導入：1つはターゲットとバックグラウンドデータの背景潜在分布が同一であることを強制し、もう1つはターゲットデータの顕著潜在分布がバックグラウンドデータと独立であることを保証する。
• 最大平均差分（MMD）を用いて、ターゲットとバックグラウンドデータの背景潜在変数間、および顕著潜在変数とバックグラウンドデータ間の分布類似度を測定する。
• MMDペナルティを含む変分推論目的関数を用いて、敵対的訓練を避けても強力な分離性を達成するエンドツーエンドの訓練を実施する。
• MMD項の微分可能最適化を可能にするために、再パラメータライゼーショントリックを採用し、MMD損失成分を逆伝播可能にする。
• 3つのデータセット（CelebA（顔属性）、および2つの単細胞RNA-seqデータセット（上皮細胞およびT細胞））にモデルを適用し、分離性および下流タスクにおける定性的・定量的性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 既存の対照的VAEは、対照的分析のコア仮定、特に顕著要因と背景要因の分離を暗黙的に満たしているのか？
• RQ2 背景要因の共有と顕著要因の排他的性という2つの主要な制約を明示的に強制することで、対照的表現学習における分離性と下流性能が向上するのか？
• RQ3 MMDに基づく正則化を用いてこれらの制約を強制することは、敵対的または他の分離技術に比べ、表現品質と安定性の面で優れているのか？
• RQ4 MM-cVAEは、実世界の生物学的および画像データセットにおいて、顕著潜在空間におけるクラス分離をどの程度向上させるのか？
• RQ5 これらの制約を強制することで、サンプル生成品質が損なわれるのか、それとも高品質な生成が維持されるのか？

主な発見

• MM-cVAEは顕著要因と背景要因の分離性を顕著に向上させた。顕著潜在空間ではサブグループの明確なクラスタリングが観察され、背景空間では最小限の分離が見られた。
• CelebAデータセットでは、MM-cVAEは顕著要因（眼鏡対帽子）のクラス分離においてシルエットスコア0.68を達成し、クラス間の混合が見られるベースラインモデルを上回った。
• 上皮細胞データセットでは、MM-cVAEは顕著空間における優れたクラス分離と、背景空間におけるクラス間混合の低減を示し、ベースラインを上回った。
• 定量的評価では、MM-cVAEはシルエットスコア、分類精度、分布整合性のMMD評価の全指標で、2つのベースラインモデルを一貫して上回った。
• CelebAのFIDおよび遺伝子発現データのMMDによるサンプル品質の測定結果は、ベースラインモデルと同等であり、分離性の向上が生成品質の低下を伴わないことを示した。
• アブレーションスタディにより、MMD正則化が不可欠であることが確認された：MMDペナルティを除去すると、分離性と性能が劣化し、明示的制約強制の必要性が裏付けられた。