[論文レビュー] Spatial Broadcast Decoder: A Simple Architecture for Learning Disentangled Representations in VAEs

Nicholas Watters, Löıc Matthey+2 more|arXiv (Cornell University)|Jan 21, 2019

Digital Media Forensic Detection参考文献 36被引用数 76

ひとこと要約

Spatial Broadcast デコーダは、潜在変数を空間にタイル状に配置し、固定座標チャネルを追加する単純な VAE デコーダで、分離可能性と再構成を改善し、特に小さなオブジェクトに対して効果的で、一般化性能も高い。

ABSTRACT

We present a simple neural rendering architecture that helps variational autoencoders (VAEs) learn disentangled representations. Instead of the deconvolutional network typically used in the decoder of VAEs, we tile (broadcast) the latent vector across space, concatenate fixed X- and Y-"coordinate" channels, and apply a fully convolutional network with 1x1 stride. This provides an architectural prior for dissociating positional from non-positional features in the latent distribution of VAEs, yet without providing any explicit supervision to this effect. We show that this architecture, which we term the Spatial Broadcast decoder, improves disentangling, reconstruction accuracy, and generalization to held-out regions in data space. It provides a particularly dramatic benefit when applied to datasets with small objects. We also emphasize a method for visualizing learned latent spaces that helped us diagnose our models and may prove useful for others aiming to assess data representations. Finally, we show the Spatial Broadcast Decoder is complementary to state-of-the-art (SOTA) disentangling techniques and when incorporated improves their performance.

研究の動機と目的

• 監督なしでVAEsにおける組成的で分離された表現の学習を動機づける。
• 標準の DeConv デコーダーの代替として Spatial Broadcast デコーダを提案する。
• このアーキテクチャが、分離性、再構成精度、データセット全体での一般化を改善することを示す。特に小さなオブジェクトが含まれるデータセットで顕著。
• 最新の分離化手法と組み合わせた場合の適合性と相補的な利得を示す。

提案手法

• 潜在ベクトルを画像空間全体にタイル状に配置して z_sb を形成し、固定の x 座標チャネルと y 座標チャネルを結合する。
• 座標チャネルを持つブロードキャスト潜在に対して、ストライドなし畳み込みデコーダを用いる。
• 最適化アーティファクトを減らし位置のレンダリングを単純化するため、アップサンプリングデコーションを避ける。
• 表現を診断するための潜在空間の可視化ツールを提供する。
• 位置変動の有無があるデータセットで評価し、分離性と一般化を評価する。
• DeConvデコーダーおよび FactorVAE / beta-VAE と比較し、補完的な利得を示す。

実験結果

リサーチクエスチョン

• RQ1 Spatial Broadcast デコーダは、標準デコーダと比較して VAE の分離性と再構成を向上させるか。
• RQ2 Spatial Broadcast アプローチは、データ空間の未知領域への一般化や小さなオブジェクトを含むデータセットへの一般化にどう影響するか。
• RQ3 Spatial Broadcast デコーダは beta-VAE や FactorVAE などの既存の分離手法と補完的か。
• RQ4 潜在空間の可視化は、スカラー指標を超えた表現品質への洞察を提供できるか。

主な発見

• Spatial Broadcast VAE は MIG および潜在表現の traversals で DeConv VAE を上回り、より解釈可能な分離要因を示す。
• 検証済みモデル全体で、ベータ-VAE および FactorVAE の変種を含む、より良い rate‑distortion のトレードオフと改善された MIG スコアをもたらす。
• 分離と再構成の改善は、小さなオブジェクトを含むデータセットで特に顕著。
• Spatial Broadcast 下では潜在空間の可視化がほぼ線形でよく分離された構造を示し、絡み合う DeConv 表現とは対照的。
• 生成因子空間の未観測領域への一般化およびピクセル空間での補間/外挿への一般化が良好。
• Spatial Broadcast デコーダは最先端の分離手法と補完的であり、組み合わせると性能を向上させる。