[論文レビュー] Variational Neural Discourse Relation Recognizer

Biao Zhang, Deyi Xiong+5 more|arXiv (Cornell University)|Mar 12, 2016

Topic Modeling参考文献 23被引用数 10

ひとこと要約

本稿では、潜在的な連続変数（下位の意味的意味を表す）を用いて暗黙的対話関係をモデル化する、変分ニューラル対話関係認識器VarNDRRを提案する。変分推論を用い、事前分布と事後分布をニューラルネットワークで近似し、再パrameterizationを用いた変分下界を最適化することで、手動特徴量に依存せず、ベンチマークデータセットで最先端の性能を達成した。これは、生成モデルが暗黙的対話関係認識に有効であることを示している。

ABSTRACT

Implicit discourse relation recognition is a crucial component for automatic discourselevel analysis and nature language understanding. Previous studies exploit discriminative models that are built on either powerful manual features or deep discourse representations. In this paper, instead, we explore generative models and propose a variational neural discourse relation recognizer. We refer to this model as VarNDRR. VarNDRR establishes a directed probabilistic model with a latent continuous variable that generates both a discourse and the relation between the two arguments of the discourse. In order to perform efficient inference and learning, we introduce neural discourse relation models to approximate the prior and posterior distributions of the latent variable, and employ these approximated distributions to optimize a reparameterized variational lower bound. This allows VarNDRR to be trained with standard stochastic gradient methods. Experiments on the benchmark data set show that VarNDRR can achieve comparable results against stateof- the-art baselines without using any manual features.

研究の動機と目的

• 表面的キューがないため、深層的意味理解を要する暗黙的対話関係認識（IDRR）の課題に対処すること。
• 手動特徴量や複雑な表現に依存する傾向がある主流の判別モデルとは対照的に、IDRRにおける生成モデルの代替としての可能性を検討すること。
• 潜在的意味空間を通じて、対話の主張と関係を同時にモデル化するスケーラブルでエンドツーエンドで学習可能なモデルを開発すること。
• 事後分布が計算不能な状況においても、ニューラル変分推論を用いて効率的な推論と学習を可能にすること。
• 手動特徴量の設計なしに、生成的手法が判別的ベースラインと同等またはそれを上回ることを実証すること。

提案手法

• VarNDRRは、潜在変数 $\mathbf{z}$ を介して対話の主張 $\mathbf{x}$ と関係 $\mathbf{y}$ の同時生成をモデル化し、$p_{\theta}(\mathbf{x},\mathbf{y}|\mathbf{z}) = p_{\theta}(\mathbf{x}|\mathbf{z})p_{\theta}(\mathbf{y}|\mathbf{z})$ を仮定する。
• 対話表現と関係の条件付き生成を、潜在変数 $\mathbf{z}$ から行うための深層フィードフォワードニューラルネットワークを用いる。
• 推論の効率化のため、事後分布 $q_{\phi}(\mathbf{z}|\mathbf{x},\mathbf{y})$ と事前分布 $q'_{\phi}(\mathbf{z}|\mathbf{x})$ をニューラルネットワークで近似する。
• 再パラメータ化を用いた変分下界（ELBO）を最適化することで、確率的サンプリングを勾配逆伝播可能にし、バックプロパゲーションを可能にする。
• 生成ネットワークと推論ネットワークを同時に学習するエンドツーエンドの最適化を、確率的勾配上昇法で実行する。
• 潜在空間からの学習済み表現とニューラルネットワークに依存することで、手動特徴量の設計を完全に回避する。

実験結果

リサーチクエスチョン

• RQ1 連続的潜在変数を用いた生成モデルは、暗黙的対話関係の背後にある意味的関係を効果的に捉えることができるか？
• RQ2 再パラメータ化を用いたニューラル変分推論は、手動特徴量なしに、対話関係認識のための生成モデルを効率的かつスケーラブルに学習可能か？
• RQ3 変分オートエンコーダー的手法は、手動特徴量を一切使用しない状況でも、判別的モデルを上回るか同等の性能を示せるか？
• RQ4 潜在変数が対話の主張と関係の両方で共通する意味的意味を捉える場合、モデルの一般化性能はどの程度高いか？

主な発見

• VarNDRRはベンチマークデータセットで競争力ある性能を達成し、いかなる手動特徴量を用いずに、最先端の判別的モデルと同等またはそれを上回った。
• 潜在変数を用いた生成モデルの有効性が、判別的特徴ベースの手法とは異なる新たなパラダイムを提供することを示した。
• 再パラメータ化を用いたニューラル変分推論により、標準的な確率的勾配法を用いた安定的かつ効率的な学習が可能になった。
• アブレーションスタディの結果、潜在変数が関係予測に不可欠な意味的表現を的確に捉えていることが確認された。
• 分類精度と変分下界最適化の両方の指標を通じてモデルの性能が検証され、学習ダイナミクスの強固さが示された。