[論文レビュー] Latent Diffusion Energy-Based Model for Interpretable Text Modeling

Peiyu Yu, Sirui Xie+7 more|arXiv (Cornell University)|Jun 13, 2022

Topic Modeling被引用数 11

ひとこと要約

本稿では、テキスト生成におけるサンプリング品質と解釈可能性を向上させるために、拡散モデルと潜在空間におけるエネルギーベースモデルを統合した新規フレームワーク、潜在拡散エネルギーベースモデル（LDEBM）を提案する。拡散回復尤度学習と幾何的クラスタリング正則化を活用することで、安定的かつ高品質な生成が可能となり、分離可能で意味のある潜在構造を実現し、解釈可能なテキストモデリングタスクにおいて強力なベースラインを上回る性能を発揮する。

ABSTRACT

Latent space Energy-Based Models (EBMs), also known as energy-based priors, have drawn growing interests in generative modeling. Fueled by its flexibility in the formulation and strong modeling power of the latent space, recent works built upon it have made interesting attempts aiming at the interpretability of text modeling. However, latent space EBMs also inherit some flaws from EBMs in data space; the degenerate MCMC sampling quality in practice can lead to poor generation quality and instability in training, especially on data with complex latent structures. Inspired by the recent efforts that leverage diffusion recovery likelihood learning as a cure for the sampling issue, we introduce a novel symbiosis between the diffusion models and latent space EBMs in a variational learning framework, coined as the latent diffusion energy-based model. We develop a geometric clustering-based regularization jointly with the information bottleneck to further improve the quality of the learned latent space. Experiments on several challenging tasks demonstrate the superior performance of our model on interpretable text modeling over strong counterparts.

研究の動機と目的

• 劣化したMCMCサンプリングによって引き起こされる潜在空間エネルギーベースモデル（EBM）における不安定さとサンプリング品質の低さを是正すること。
• トピックや対話行動といった意味的属性を捉えることができる構造的かつ分離可能な潜在空間を学習することで、テキストモデリングにおける解釈可能性を向上させること。
• 従来の拡散モデルが直面する課題を克服するため、離散的テキストデータの課題を避けるために潜在空間で動作するようにすること。
• 拡散モデリングと潜在EBMを統合する包括的な変分学習フレームワークを構築し、エンドツーエンドの学習を可能とすること。
• 幾何的クラスタリング正則化と情報ボトルネックを活用して潜在空間の品質を向上させ、モード崩壊を緩和すること。

提案手法

• 潜在空間に前向きおよび逆向きの拡散プロセスを構築する変分学習フレームワークを提案し、逆向きプロセスをエネルギーベースモデル $ p_\alpha(\mathbf{z}_t|\mathbf{z}_{t+1}) $ でモデル化する。
• 離散的一般化シンボル（one-hot）と連続的潜在ベクトルを結合するシンボル-ベクトルカップリング事前分布を導入し、補助ネットワークを必要とせずにシンボリック構造の誘導を可能にする。
• 周辺尤度最適化の代わりに、徐々にノイズが加わる潜在状態における条件付き尤度を最小化することで、より扱いやすく安定した学習が可能になる拡散回復尤度学習を採用する。
• 幾何的クラスタリングに基づく正則化を適用し、学習された潜在空間の品質と分離性を向上させ、情報ボトルネックと補完的に機能させる。
• エンコーダ $ q_\phi(\mathbf{z}_0|\u003cxu003e) $、デコーダ $ p_\beta(\mathbf{x}|\mathbf{z}_0) $、および逆向き拡散EBM $ p_\alpha(\mathbf{z}_t|\mathbf{z}_{t+1}) $ の更新を交互に実行する共同最適化スキームを用いる。
• 学習されたEBMの系列からノイズレベルに応じたサンプリングを実施し、潜在空間における構造的表現の回復を可能にすることで、高精細かつ解釈可能なテキスト生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 拡散ベースの尤度学習は、潜在空間エネルギー基地モデルの訓練とサンプリングの安定性を効果的に向上させることができるか？
• RQ2 補助推論ネットワークを必要とせずに、連続的潜在空間にシンボリック構造を効果的に統合できるか？
• RQ3 幾何的クラスタリング正則化は、変分潜在モデルにおける学習済み潜在空間の分離性と品質を向上させることができるか？
• RQ4 本稿で提案する拡散モデルと潜在EBMの統合は、強力なベースラインと比較して、解釈可能なテキストモデリングタスクで優れた性能を発揮するか？
• RQ5 事前学習済みエンコーダーやデコーダーが存在しない状況でも、モデルはスクラッチから良好な構造的潜在空間を学習できるか？

主な発見

• LDEBMは、制御生成や半教師あり分類を含む解釈可能なテキストモデリングタスクで優れた性能を発揮し、VAE や標準的な潜在EBMといった強力なベースラインを上回る。
• 拡散回復尤度の活用により、従来のMCMCベースのEBM学習に内在するサンプリング不安定性が緩和され、安定した学習と高品質な生成が実現された。
• 幾何的クラスタリング正則化は、モード崩壊の低減と学習済み潜在要因の分離性向上に効果を発揮し、より解釈可能で意味のある表現を実現した。
• シンボル-ベクトルカップリング機構により、対話行動などのシンボリック属性を直接潜在空間に誘導可能となり、別個のシンボル検出ネットワークの必要性が排除された。
• 事前学習言語モデルがなくても、テキスト分類や生成といった下流タスクで強力なゼロショットおよびフェイントショット一般化能力を示した。
• 実験的結果から、本手法がテキスト生成および半教師あり学習のベンチマークデータセットにおいて最先端または競争力のある結果を達成していることが確認され、文の自然さ、多様性、および分離性の向上が得られた。