[論文レビュー] Correlated Variational Auto-Encoders

Da Tang, Dawen Liang+2 more|arXiv (Cornell University)|May 14, 2019

Gene expression and cancer classification被引用数 10

ひとこと要約

本稿では、相関のある事前分布を用いて、VAEの潜在空間に既知のデータポイント間相関構造を組み込むことで、相関付き変分オートエンコーダー（cVAEs）を提案する。ELBOの不確実性を、相関グラフの最大無環部分グラフ全体にわたる容易な下界の平均により近似することで、cVAEsはリンク予測、ユーザーマッチング、スペクトルクラスタリングのタスクにおいて、標準VAEおよびGraphSAGEを上回る性能を発揮する。

ABSTRACT

Variational Auto-Encoders (VAEs) are capable of learning latent representations for high dimensional data. However, due to the i.i.d. assumption, VAEs only optimize the singleton variational distributions and fail to account for the correlations between data points, which might be crucial for learning latent representations from dataset where a priori we know correlations exist. We propose Correlated Variational Auto-Encoders (CVAEs) that can take the correlation structure into consideration when learning latent representations with VAEs. CVAEs apply a prior based on the correlation structure. To address the intractability introduced by the correlated prior, we develop an approximation by average of a set of tractable lower bounds over all maximal acyclic subgraphs of the undirected correlation graph. Experimental results on matching and link prediction on public benchmark rating datasets and spectral clustering on a synthetic dataset show the effectiveness of the proposed method over baseline algorithms.

研究の動機と目的

• 標準VAEがi.i.d.仮定による制限により、データポイント間の相関をモデル化できないという問題に対処すること。
• 既知の相関構造（例えば、グラフ構造のデータ）を、潜在変数における相関のある事前分布を介してVAEフレームワークに組み込むこと。
• 相関のある事前分布に起因する不確実なELBOを、実用的な推論手法で近似すること。
• 構造的な潜在表現を用いて、リンク予測、ユーザーマッチング、クラスタリングなどの下流タスクでの性能向上を図ること。

提案手法

• cVAE_indおよびcVAE_corrの2つのバリエーションを提案：前者は完全に因子化された変分後確率分布を用いるが、後者はより良い近似を得るためのペアワイズ潜在変数依存性を含む。
• 既知の無向相関グラフ構造を尊重する潜在変数における相関のある事前分布を導入する。
• 相関のある事前分布に起因するELBOの不確実性に対処するため、相関グラフのすべての最大無環部分グラフにわたる下界の平均を用いる。
• cVAE_indでは因子化された変分後確率分布、cVAE_corrでは構造化された後確率分布を用いたアンモアタイズド推論により、近似の質を向上させる。
• 再構成誤差と相関のある事前分布を用いたKLダイバージェンス項を組み合わせた変分下界を採用する。
• 実世界のデータセット（例：映画および商品の評価）と木構造のグラフを持つ合成データに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 既知のデータポイント間の相関構造をVAEの事前分布に組み込むことで、潜在表現学習の性能が向上するか？
• RQ2 相関のある事前分布に起因する不確実なELBOを、実用的に効率的に近似する方法は何か？
• RQ3 変分後確率分布にペアワイズ依存性をモデル化する（cVAE_corr）ことで、シングルトン近似（cVAE_ind）よりも性能が向上するか？
• RQ4 相関が存在する状況下で、cVAEsがリンク予測やユーザーマッチングのタスクにおいて、標準VAEおよびGraphSAGEを上回る性能を発揮するか？
• RQ5 複雑で疎結合な相関グラフにおいて、正則化がcVAE_corrの性能に与える影響は何か？

主な発見

• cVAE_indおよびcVAE_corrの両方が、リンク予測において標準VAEおよびGraphSAGEを上回り、商品評価データセットではcVAE_corrが正規化CRR 0.0171 ± 0.0009を達成した。
• 映画推薦データセットでは、cVAE_indがVAE（0.0052 ± 0.0007）およびGraphSAGE（0.0115 ± 0.0025）よりも高い正規化CRR（0.0160 ± 0.0004）を達成した。
• 合成木構造のデータセットにおけるスペクトルクラスタリングでは、cVAE_corrが98%のクラスタリング精度（0.98）を達成し、ベースラインのVAEを著しく上回った。
• cVAE_corrにおける大きな正則化値（γ = 1000）の使用は、複雑で疎結合な相関グラフにおいて性能を向上させ、潜在相関のより良い学習を可能にした。
• 最大無環部分グラフにわたる下界の平均は、不確実なELBOに対する安定的で効果的な近似を提供し、スケーラブルな学習を可能にした。
• cVAE_corrは一貫してcVAE_indを上回り、変分後確率分布におけるペアワイズ潜在変数依存性の導入が有効であることを示した。