[論文レビュー] Latent Space Energy-Based Model of Symbol-Vector Coupling for Text Generation and Classification

Bo Pang, Ying Wu|arXiv (Cornell University)|Aug 26, 2021

Topic Modeling被引用数 5

ひとこと要約

この論文は、テキスト生成のための連続的潜在ベクトルと解釈可能性・分類のための離散的記号的ベクトルを同時に学習する、記号-ベクトル結合型エネルギーに基づくモデル（SVEBM）を提案する。エネルギーに基づく事前分布を介してこれらを結合し、情報ボトルネック正則化を施したアンモライズド推論を用いることで、高品質で多様かつ解釈可能なテキスト生成を実現するとともに、効果的な半教師ありテキスト分類を可能にする。

ABSTRACT

We propose a latent space energy-based prior model for text generation and classification. The model stands on a generator network that generates the text sequence based on a continuous latent vector. The energy term of the prior model couples a continuous latent vector and a symbolic one-hot vector, so that discrete category can be inferred from the observed example based on the continuous latent vector. Such a latent space coupling naturally enables incorporation of information bottleneck regularization to encourage the continuous latent vector to extract information from the observed example that is informative of the underlying category. In our learning method, the symbol-vector coupling, the generator network and the inference network are learned jointly. Our model can be learned in an unsupervised setting where no category labels are provided. It can also be learned in semi-supervised setting where category labels are provided for a subset of training examples. Our experiments demonstrate that the proposed model learns well-structured and meaningful latent space, which (1) guides the generator to generate text with high quality, diversity, and interpretability, and (2) effectively classifies text.

研究の動機と目的

• 離散的記号と連続的ベクトルで構造化された潜在空間を用いて、解釈可能なテキスト生成を可能にする生成モデルの開発。
• テキスト生成における表現力と解釈可能性を両立できない、完全に連続的または完全に離散的な潜在空間の限界を克服すること。
• より優れた表現学習のため、共同学習フレームワークに情報ボトルネック正則化を統合すること。
• 生成器、推論、記号-ベクトル結合のエンドツーエンド最適化を可能にする、教師ありおよび半教師ありの両方の学習を可能にすること。
• 結合された潜在空間が、高品質で多様かつ制御可能なテキスト生成および正確な分類を可能にすることを実証すること。

提案手法

• 連続的潜在ベクトル（z）と離散的記号的ワンホットベクトル（y）をエネルギー関数 pα(y,z) を介して結合する潜在空間エネルギーに基づく事前分布モデルを定式化する。
• 生成器ネットワークを用いて、潜在ベクトル z をテキスト系列 x にマッピングし、トップダウン型のテキスト生成を可能にする。
• 効率的な推論のため、観測済みテキストから連続的潜在ベクトルを推論するためのアンモライズド推論ネットワーク qϕ(z|x) を採用し、スケーラブルな学習を実現する。
• 対数尤度の変分下界に基づく共同学習目的関数を導入し、記号-ベクトル結合、生成器、推論ネットワークを同時に最適化する。
• 連続的潜在ベクトル z と記号的ラベル y 間の相互情報量を最大化することで、情報ボトルネック正則化を適用し、z がカテゴリを示す特徴を抽出するよう促進する。
• 教師あり学習（ラベルなし）と半教師あり学習（データの一部にラベルあり）の両方をサポートし、推論された z からソフトマックスを用いて記号的ベクトルを推定する。

実験結果

リサーチクエスチョン

• RQ1 連続的および離散的潜在変数を結合する共同エネルギーに基づく事前分布モデルは、テキスト生成の解釈可能性と品質を向上させることができるか？
• RQ2 限定的なラベル付き例のみを用いて、モデルは半教師ありテキスト分類をどれほど効果的に実行できるか？
• RQ3 情報ボトルネック正則化の統合により、潜在空間におけるより意味的で分離可能な表現が得られるか？
• RQ4 記号-ベクトル結合により、推論時に明示的なラベルの監視がなくても、正確で解釈可能な分類が可能になるか？
• RQ5 生成品質および分類精度の観点から、従来のVAEベースおよびEBMベースのモデルと比較して、本モデルはどのように優れているか？

主な発見

• 提案されたSVEBMは、高品質で多様かつ解釈可能なテキスト生成を可能にする、良好に構造化された意味的潜在空間を学習する。
• モデルはテキスト分類において優れた性能を示し、記号的ベクトルが表現学習に寄与することで、半教師あり設定下で精度が向上する。
• 情報ボトルネック正則化は、連続的潜在ベクトルが潜在的なカテゴリを示す特徴を効果的に抽出するよう促進する。
• 記号-ベクトル結合、生成器、推論ネットワークの共同最適化により、追加の補助ネットワークを必要とせずに安定的かつ効果的な学習が可能になる。
• ガウス混合事前分布や別個の推論ヘッドを用いる従来手法と比較して、特に分離可能な表現学習において優れた性能を発揮する。
• MCMCサンプリングではなくアンモライズド推論を用いることで、情報ボトルネック最適化の文脈においても、効率的かつスケーラブルな学習が実現される。