[論文レビュー] Recurrent Neural Network-Based Semantic Variational Autoencoder for Sequence-to-Sequence Learning

Myeongjun Jang, Seungwan Seo+1 more|arXiv (Cornell University)|Feb 9, 2018

Topic Modeling参考文献 35被引用数 7

ひとこと要約

本稿では、エンコーダーの最終状態と全隠れ状態間のアテンションに基づく文情報ベクトルを統合することで、グローバルな潜在特徴の学習を向上させる、RNN-SVAEというシーケンス・ツー・シーケンスモデルを提案する。このベクトルを最終RNN隠れ状態と組み合わせることで、意味的表現のための変分推論が改善され、RNN-AEおよびRNN-VAEベースラインと比較して、言語モデリング、欠損語の補完、並び替え語の識別において優れた性能を達成する。

ABSTRACT

Sequence-to-sequence (Seq2seq) models have played an important role in the recent success of various natural language processing methods, such as machine translation, text summarization, and speech recognition. However, current Seq2seq models have trouble preserving global latent information from a long sequence of words. Variational autoencoder (VAE) alleviates this problem by learning a continuous semantic space of the input sentence. However, it does not solve the problem completely. In this paper, we propose a new recurrent neural network (RNN)-based Seq2seq model, RNN semantic variational autoencoder (RNN--SVAE), to better capture the global latent information of a sequence of words. To reflect the meaning of words in a sentence properly, without regard to its position within the sentence, we construct a document information vector using the attention information between the final state of the encoder and every prior hidden state. Then, the mean and standard deviation of the continuous semantic space are learned by using this vector to take advantage of the variational method. By using the document information vector to find the semantic space of the sentence, it becomes possible to better capture the global latent feature of the sentence. Experimental results of three natural language tasks (i.e., language modeling, missing word imputation, paraphrase identification) confirm that the proposed RNN--SVAE yields higher performance than two benchmark models.

研究の動機と目的

• RNNベースのオートエンコーダーが最終隠れ状態に依存するがゆえにグローバルな潜在特徴を捉えきれていないという限界を是正すること。
• 文全体の意味を反映するより強固な連続的意味的空間を学習することで、シーケンスモデリングにおける変分オートエンコーディングを改善すること。
• アテンションベースの文ベクトルを活用することで、潜在表現に対する微小な摂動への感受性を低減すること。
• 並び替え語の識別や言語モデリングなど、グローバルな意味的理解を要する自然言語処理タスクにおける性能を向上させること。
• 双方向RNNとアテンションベースの文ベクトルを組み合わせたアプローチが、変分オートエンコーダー枠組みにおいて有効であることを検証すること。

提案手法

• モデルは、エンコーダーの最終隠れ状態とシーケンス内の全過去の隠れ状態との間で計算されたアテンション重みを用いて、文情報ベクトルを構築する。
• この文情報ベクトルは、双方向RNNエンコーダーの最終隠れ状態と組み合わせられ、グローバルな潜在ベクトルを形成する。
• 結合されたベクトルを用いて変分推論により潜在空間の平均と標準偏差を学習し、より強固な表現を得るための確率的サンプリングを可能にする。
• デコーダーはサンプリングされた潜在ベクトルを用いて入力シーケンスを再構築し、再構築損失を用いたエンド・ツー・エンドの学習を可能にする。
• アテンション機構により、語の重要性が位置的バイアスではなく、文全体の意味との関連性に基づいて決定される。
• 過学習を防ぐために、すべての層にドロップアウト（率0.3）を適用し、Adam最適化法と固定学習率0.001を用いて学習を行う。

実験結果

リサーチクエスチョン

• RQ1 アテンションベースの文ベクトルは、RNNベースの変分オートエンコーダーにおけるグローバル意味的表現を向上させることができるか？
• RQ2 文ベクトルを最終RNN隠れ状態と組み合わせることで、単に最終状態に依存するのと比較して、文レベルの意味をよりよく捉える性能が向上するか？
• RQ3 並び替え語の識別や欠損語の補完など、グローバルな文脈理解を要するタスクにおいて、RNN-SVAEはRNN-AEおよびRNN-VAEと比較してどのように性能を発揮するか？
• RQ4 文ベクトルは、入力の微小な変化に対する潜在表現の感受性をどの程度低減するか？
• RQ5 性能向上は、複数の自然言語処理タスクにおいて統計的に有意であるか？

主な発見

• 並び替え語の識別タスクにおいて、RNN-SVAEはRNN-VAEと比較して全体の誤差率を23.1%から34.8%まで低減し、顕著な性能向上を示した。
• RNN-AEおよびRNN-VAEと比較して、誤検出率が低く抑えられ、並び替え語ペアを識別する精度が向上した。
• 言語モデリングおよび欠損語の補完において、RNN-SVAEはRNN-AEおよびRNN-VAEを上回ったが、特にグローバルな文脈が重要な長文において顕著であった。
• 意味的に類似した文に対して、RNN-SVAEはRNN-VAEよりもより類似した潜在ベクトル表現を生成したため、意味の保存性が向上していることが確認された。
• 統計的仮説検定により、RNN-SVAEがRNN-VAEを上回る性能向上は有意水準0.01で確認された。
• 非常に短い文においては、欠損語の補完タスクでRNN-SVAEにほとんど向上が見られず、文長が無視できるほど短い場合にはグローバルな文脈が重要でないことが示唆された。