[論文レビュー] Grammar Variational Autoencoder

Matt J. Kusner, Brooks Paige+1 more|PolyPublie (École Polytechnique de Montréal)|Mar 6, 2017

Topic Modeling参考文献 36被引用数 113

ひとこと要約

Grammar Variational Autoencoder は、離散データを文脈自由文法のパース木へ直接エンコード/デコードし、出力が有効であることを保証し、算術表現と分子の最適化を改善する滑らかな潜在空間を生み出します。

ABSTRACT

Deep generative models have been wildly successful at learning coherent latent representations for continuous data such as video and audio. However, generative modeling of discrete data such as arithmetic expressions and molecular structures still poses significant challenges. Crucially, state-of-the-art methods often produce outputs that are not valid. We make the key observation that frequently, discrete data can be represented as a parse tree from a context-free grammar. We propose a variational autoencoder which encodes and decodes directly to and from these parse trees, ensuring the generated outputs are always valid. Surprisingly, we show that not only does our model more often generate valid outputs, it also learns a more coherent latent space in which nearby points decode to similar discrete outputs. We demonstrate the effectiveness of our learned models by showing their improved performance in Bayesian optimization for symbolic regression and molecular synthesis.

研究の動機と目的

• 頑健な生成モデリングが難しい離散データの有効性を確保する動機づけ。
• 生成されたシーケンスの統語的有効性を保証するために文脈自由文法を活用。
• 離散出力の文法構造を尊重する連続的な潜在空間を学習。
• 代数的回帰や分子設計などの最適化タスクにおける利点を示す。

提案手法

• discrete outputs を CFG からのパース木として表現し、文法規則によるエンコード/デコードを行う。
• Encode: 入力を文法規則の列へパースし、それをニューラルエンコーダで潜在ベクトル z に写像する。
• Decode: z から文法規則の列を生成する RNN を用い、CFG の有効性をスタックを用いたマスキング機構で保証する。
• 各ステップで文法的に有効な生成規則のみをサンプルするためにマスク付き softmax を用いる（論文の Equation 2）。
• 潜在変数 z 上で変分目的関数（ELBO）を用いた訓練。 Gaussian エンコーダ q(z|X) と prior p(z) を使用する。
• decoding をプッシュダウン解析プロセスとして illustrated、標準的な CFG 解析とプッシュダウンオートマタ概念に結びつける。

実験結果

リサーチクエスチョン

• RQ1 CFG パース木へのエンコードが、テキストベースのデコーダと比較して生成された離散構造の有効性率を高めるか？
• RQ2 GVAE は潜在空間をより滑らかで意味的に類似した離散出力を保持するか？
• RQ3 GVAE 潜在空間での最適化（例：ベイズ最適化）は、文字ベースの VAEs より Symbolic 回帰や分子設計で優れるか？
• RQ4 算術式と分子生成における有効性、予測性能、探索効率へ及ぼす定性的・定量的影響はどのようになるか？

主な発見

• GVAE は文字ベースの VAE よりも有効な離散出力の割合が高い。
• GVAE は潜在表現を滑らかに学習し、近くの潜在点が類似した出力へデコードされる。
• 潜在空間での最適化（GVAE）を用いた場合、CVAE と比較して Symbolic 回帰の結果と分子設計が改善される。
• GVAE に基づく潜在表現は、下流の特性推定（例えばスパース GP による推定など）で予測性能を向上させる。
• 算術式の問題では、GVAE はデータに適合する有効で正確な式をより確実に発見する。