[論文レビュー] SetVAE: Learning Hierarchical Composition for Generative Modeling of Set-Structured Data

Jinwoo Kim, Jaehoon Yoo+2 more|arXiv (Cornell University)|Mar 29, 2021

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

SetVAEは、複数スケールにわたる階層的で置換不変な表現を学習するために注意メカニズムを用いたボトルネック層を採用する、集合構造データ向けの階層的変分オートエンコーダーを提案する。このモデルは、パrameter数を著しく削減しながらも、点群の生成品質を最先端水準にまで高め、集合のサイズが学習時とは異なる場合でも一般化可能である。これは、構造と集合のサイズを分離することで実現される。

ABSTRACT

Generative modeling of set-structured data, such as point clouds, requires reasoning over local and global structures at various scales. However, adopting multi-scale frameworks for ordinary sequential data to a set-structured data is nontrivial as it should be invariant to the permutation of its elements. In this paper, we propose SetVAE, a hierarchical variational autoencoder for sets. Motivated by recent progress in set encoding, we build SetVAE upon attentive modules that first partition the set and project the partition back to the original cardinality. Exploiting this module, our hierarchical VAE learns latent variables at multiple scales, capturing coarse-to-fine dependency of the set elements while achieving permutation invariance. We evaluate our model on point cloud generation task and achieve competitive performance to the prior arts with substantially smaller model capacity. We qualitatively demonstrate that our model generalizes to unseen set sizes and learns interesting subset relations without supervision. Our implementation is available at https://github.com/jw9730/setvae.

研究の動機と目的

• 集合構造データの生成モデリングにおける課題に取り組むこと。この課題は、要素の順序に依存しない性質と、可変な集合のサイズを扱う必要がある。
• 従来のモデルが階層的構造を欠き、複雑な集合における要素間の依存関係に対処できないという限界を克服すること。
• ヒューリスティックな順序付けを課さずに、複数スケールの分離可能な表現を可能にする変分オートエンコーダーのフレームワークを開発すること。
• 学習時に未確認の集合サイズであっても、推論時に任意の集合サイズに一般化できること。
• 教師なしで、点群における意味的パーツなど、集合の内在的サブセット構造を発見・モデル化できること。

提案手法

• SetVAEは、注意メカニズムを用いて集合をサブセットに分割し、元の集合サイズに再投影する『注意ボトルネック層（ABLs）』を採用する。これにより、階層的な処理が可能になる。
• 複数の階層レベルの潜在変数を持つ階層的VAEアーキテクチャを採用し、各レベルが入力集合の粗い抽象化を表す。
• 各レベルは、学習可能な誘導点を用いてサブセットに注目し要約する。これにより、スケールにわたる粗いから細かい推論が可能になる。
• エンコーダーは多頭注目（multi-head self-attention）を用いて注目マップを計算し、点群における翼やエンジンといった意味的に重要な部分を特定する。
• デコーダーは、階層的潜在変数に条件付けられた要素を生成することで集合を再構築し、注目メカニズムにより置換不変性を確保する。
• 階層的潜在変数にはマルチモーダルな事前分布を用い、学習の安定化と生成要因の分離性の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 階層的VAEは、置換不変性を保ちつつ、集合構造データに対して意味的で粗いから細かい表現を学習できるか？
• RQ2 固定サイズの集合で学習した生成モデルが、学習時とは異なる集合サイズにどれほど一般化できるか？
• RQ3 明示的な教師信号なしに、集合の内在的サブセット構造（例：物体のパーツ）を発見できるか？
• RQ4 単一レベルのVAEと比較して、階層的潜在変数を組み込むことで生成品質と分離性が向上するか？
• RQ5 要素間の依存関係が重要となる高集合サイズの設定でも、モデルの性能は良好か？

主な発見

• Set-MultiMNISTデータセットにおける64×64レンダリング画像では、SetVAEはFIDスコア1047を達成し、非階層的かつ単一モード事前分布を用いたベースラインを上回った。
• モデルは2048点のShapeNetと250点未満のSet-MNISTデータで学習した後でも、100～10,000点の集合サイズに一般化できた。
• 高集合サイズ（10万点）の設定でも、SetVAEは鋭い構造的詳細を維持したが、PointFlowは独立した要素モデリングのため、ぼやけた境界を示した。
• 注目マップの可視化から、複数のサンプルにわたって一貫して意味的パーツ（例：翼、エンジン、脚）に注目していることが確認され、内在的サブセット構造の発見が示された。
• 潜在空間の分析から、下位レイヤーは位置情報を、上位レイヤーは形状特徴をエンコードしていることが判明し、階層的レベル間での生成要因の分離性が裏付けられた。
• アブレーションスタディの結果、階層構造とマルチモーダル事前分布は不可欠であることが確認された。それぞれを削除するとFIDは423（1470）および218（1252）上昇した。