[論文レビュー] VAEL: Bridging Variational Autoencoders and Probabilistic Logic Programming

Eleonora Misino, Giuseppe Marra+1 more|arXiv (Cornell University)|Feb 7, 2022

Semantic Web and Ontologies被引用数 4

ひとこと要約

VAELは、変分オートエンコーダー（VAEs）と確率的論理プログラミング（PLP）を統合する神経記号的生成モデルを導入し、潜在表現を記号的論理式に分離可能にする。これにより、論理的推論を用いた未学習の生成タスクへの一般化が可能となり、データ効率性とゼロショット一般化を向上させつつ、最先端の性能を達成する。

ABSTRACT

We present VAEL, a neuro-symbolic generative model integrating variational autoencoders (VAE) with the reasoning capabilities of probabilistic logic (L) programming. Besides standard latent subsymbolic variables, our model exploits a probabilistic logic program to define a further structured representation, which is used for logical reasoning. The entire process is end-to-end differentiable. Once trained, VAEL can solve new unseen generation tasks by (i) leveraging the previously acquired knowledge encoded in the neural component and (ii) exploiting new logical programs on the structured latent space. Our experiments provide support on the benefits of this neuro-symbolic integration both in terms of task generalization and data efficiency. To the best of our knowledge, this work is the first to propose a general-purpose end-to-end framework integrating probabilistic logic programming into a deep generative model.

研究の動機と目的

• 標準的なVAEsが再トレーニングなしに新しい生成タスクに一般化できないという制限を克服するため、潜在表現をタスク固有のラベルから分離する。
• 潜在空間に構造的で解釈可能な事前分布として確率的論理プログラミングを統合し、記号的表現に対する論理的推論を可能にする。
• ニューラル学習と記号的推論の両方をサポートするエンドツーエンド微分可能なトレーニングを実現する。
• 潜在空間における論理的誘導バイアスを活用することで、データ効率性と一般化性能を向上させる。
• 新しい論理プログラムを用いて神経記号的生成の一般用途フレームワークを提供し、ニューラルコンポーネントの再トレーニングなしに新しいタスクへのゼロショット適応を可能にする。

提案手法

• 入力データから記号的潜在空間（論理アトムから構成される）への非線形マッピングを学習するVAEを備えたハイブリッドモデルを導入する。
• ProbLogに基づく確率的論理プログラムを用いて、記号的潜在変数の構造的事前分布を定義し、論理的推論と推論を可能にする。
• VAEのエンコーダ/デコーダと論理プログラムの両方を経由するエンドツーエンドバックプロパゲーションを用い、ニューラルおよび記号的コンポーネントの共同最適化を実現する。
• 論理プログラムにおける成功確率と証拠に基づくサンプリングを用いて、記号的表現からラベル確率を計算する。
• VAEの潜在出力から導かれる論理式に条件づけることで、ラベル予測を潜在コードから分離する。
• 同じ記号的潜在空間上で新しい論理プログラムを組み込むことで、VAEの再トレーニングなしにゼロショット生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルは、推論を可能にする解釈可能な記号的論理式に分離可能な潜在表現を学習できるか？
• RQ2 確率的論理プログラミングを統合することで、標準的なVAEsと比較して未学習の生成タスクへの一般化性能がどの程度向上するか？
• RQ3 記号的事前分布は、画像生成タスクにおける低データ環境下でのデータ効率性を向上させるか？
• RQ4 ニューラルコンポーネントの再トレーニングなしに、論理プログラムの変更のみで新しいタスクに一般化できるか？
• RQ5 記号的推論の統合は、深層生成モデルにおける解釈可能性と誘導バイアスをどのように向上させるか？

主な発見

• VAELは、特に低データ環境下において、画像生成ベンチマークで最先端の生成性能を達成する。
• 同じVAEエンコーダを再利用し、新しい論理プログラムを適用することで、未学習の生成タスク（例：新しい算術演算）に一般化できる。
• VAELは、訓練データが限られる状況でも、標準的なVAEsを上回るデータ効率性を示す。
• 確率的論理プログラミングの統合により、新しい推論タスクへのゼロショット一般化が、記号的プログラムの適応によって可能になる。
• 記号的潜在空間は、成功確率と証拠に基づくサンプリングを用いて、生成コンテンツに対する論理的推論を可能にする。
• 著者らの知る限り、VAELは、生成モデリングにおけるVAEsと確率的論理プログラミングをエンドツーエンド微分可能に統合した最初の神経記号的フレームワークである。