[論文レビュー] Generating Sentences from Disentangled Syntactic and Semantic Spaces

Yu Bao, Hao Zhou+6 more|arXiv (Cornell University)|Jul 6, 2019

Topic Modeling参考文献 38被引用数 13

ひとこと要約

本稿では、連続的な潜在空間における構文的および意味的表現の分離を可能にする変分オートエーコーダー、DSS-VAEを提案する。構文は線形化された木構造シーケンスを通じて明示的にモデル化可能であり、敵対的正則化と別々の潜在空間の導入により、文の生成品質が向上し、教師なしの並び替えや構文転送生成といった新たな応用が可能になる。再構成およびゼロショット生成の両タスクで、ベースラインを上回る性能を発揮する。

ABSTRACT

Variational auto-encoders (VAEs) are widely used in natural language generation due to the regularization of the latent space. However, generating sentences from the continuous latent space does not explicitly model the syntactic information. In this paper, we propose to generate sentences from disentangled syntactic and semantic spaces. Our proposed method explicitly models syntactic information in the VAE's latent space by using the linearized tree sequence, leading to better performance of language generation. Additionally, the advantage of sampling in the disentangled syntactic and semantic latent spaces enables us to perform novel applications, such as the unsupervised paraphrase generation and syntax-transfer generation. Experimental results show that our proposed model achieves similar or better performance in various tasks, compared with state-of-the-art related work.

研究の動機と目的

• 従来のVAEが潜在空間内で構文的および意味的情報を混合してしまうという制限を解消し、明示的な構文的制御を可能にする。
• 連続的な潜在空間内で構文のサンプリングと操作を可能にし、VAEの利点を保ちつつ構文構造を明示的にモデル化する。
• 平行コーパスを必要としない、教師なしの並び替え生成や構文転送生成といった新たな応用を開発する。
• 潜在空間における意味と構文の分離により、非条件付き言語生成の品質を向上させる。
• 敵対的正則化が構文的および意味的空間間の分離と生成性能を向上させることを検証する。

提案手法

• DSS-VAEは、意味（$\bm{z}_{\text{sem}}$）と構文（$\bm{z}_{\text{syn}}$）のそれぞれに別々の連続的潜在変数を導入し、別々の推論ネットワークによって学習する。
• 構文は、依存解析または構造的句の解析から得られる線形化された木構造シーケンスを用いて符号化し、潜在空間における構造的モデリングを可能にする。
• 敵対的訓練を意味的および構文的空間の両方に対して適用し、識別器を用いて分離を強制し、情報漏洩を防ぐ。
• 潜在空間の正則化として、敵対的再構成損失（$\mathcal{L}^{\text{(adv)}}_{\text{rec}}$）を導入し、各空間が自らの意図した情報のみを捉えるように保証する。
• 生成の際には、$\bm{z}_{\text{sem}}$ と $\bm{z}_{\text{syn}}$ を独立してサンプリングするか、MAP推論を用いて特定の属性（例：意味を保持しつつ構文を変更）を操作する。
• 構文転送生成は、ある文の意味ベクトルと別の文の構文ベクトルを組み合わせることで実現し、$\bm{z}^*_{\text{sem}} = \arg\max q(\bm{z}_{\text{sem}}|\bm{x}_2)$ および $\bm{z}^*_{\text{syn}} = \arg\max q(\bm{z}_{\text{syn}}|\bm{x}_1)$ を用いる。

実験結果

リサーチクエスチョン

• RQ1 VAEの連続的潜在空間における明示的な構文モデリングは、非条件付き文生成の品質向上に寄与するか？
• RQ2 分離された構文的および意味的空間は、並列データを必要とせず、効果的な教師なしの並び替え生成を可能にするか？
• RQ3 潜在空間の操作のみで、文間の構文構造を転送することで構文転送生成を達成できるか？
• RQ4 意味的および構文的空間間の敵対的正則化は、分離性および生成性能を向上させるか？
• RQ5 構文転送生成において、意味の忠実性と構文の新規性のバランスをとる際、モデルの性能はいかがなっているか？

主な発見

• DSS-VAEは、標準VAEと比較してより低いパープレキシティと高いBLEUスコアを達成しており、非条件付き生成における文のなめらかさと再構成品質の向上を示している。
• 教師なしの並び替え生成において、DSS-VAEは標準VAEおよびメトロポリス・ハスティングスサンプリングベースラインを上回り、優れた並び替え品質を示している。
• DSS-VAEの完全モデルは、$\Delta$ word-BLEU および $\Delta$ TED の両方において最大の差を示しており、構文転送生成における意味的類似性と構文的新規性の最適なバランスを達成している。
• 敵対的再構成損失の導入により、生成性能の総合的差が12.09上昇し、分離性の向上に有効であることが確認された。
• 構造的に不適合な文（例：著しく長さが異なる文）間での構文転送では、やや不満足な結果が得られた。これは、構文転送の成功に構造的整合性が影響している可能性を示唆している。
• モデルは、ある文の構文を別の文の意味に組み合わせることに成功し、自動的評価および定性的評価の両方で意味的に整合的で構文的に新規な出力を得ている。