[論文レビュー] Enhance word representation for out-of-vocabulary on Ubuntu dialogue corpus

Jianxiong Dong, Jim Huang|arXiv (Cornell University)|Feb 7, 2018

Topic Modeling参考文献 37被引用数 27

ひとこと要約

本稿では、会話システムにおける未知語（OOV）問題を軽減するために、事前学習済みGloVe埋め込みとタスク固有のword2vecベクトルを組み合わせたハイブリッド語表現手法を提案する。これらのベクトルを連結し、文字レベルの埋め込みと統合することでESIMモデルに組み込む。このアプローチにより、UbuntuおよびDouban会話データセットの両方で最先端の性能を達成し、前回のモデル比でR@1が3.8%向上、P@1が3.6%向上した。

ABSTRACT

Ubuntu dialogue corpus is the largest public available dialogue corpus to make it feasible to build end-to-end deep neural network models directly from the conversation data. One challenge of Ubuntu dialogue corpus is the large number of out-of-vocabulary words. In this paper we proposed a method which combines the general pre-trained word embedding vectors with those generated on the task-specific training set to address this issue. We integrated character embedding into Chen et al's Enhanced LSTM method (ESIM) and used it to evaluate the effectiveness of our proposed method. For the task of next utterance selection, the proposed method has demonstrated a significant performance improvement against original ESIM and the new model has achieved state-of-the-art results on both Ubuntu dialogue corpus and Douban conversation corpus. In addition, we investigated the performance impact of end-of-utterance and end-of-turn token tags.

研究の動機と目的

• 会話システムにおける未知語（OOV）問題、特に多数の希少語や技術用語を含むUbuntu会話コーパスにおける問題を解決すること。
• 一般用途の事前学習済み埋め込み（GloVe）と、タスクの学習データから学習されたドメイン固有の埋め込み（word2vec）を融合することで、語表現を向上させること。
• このハイブリッド表現が、次発話選択のための系列モデリング性能を向上させる効果を評価すること。
• 特別トークン（__eou__ と __eot__）がモデル性能に与える影響を調査すること。

提案手法

• 提案手法は、事前学習済みGloVe語ベクトルと、Ubuntu会話コーパス上で学習されたword2vecベクトルを連結してハイブリッド語表現を構築する。
• このハイブリッドベクトルは、注意機構と最大プーリングを備えた双方向LSTMエンコーダーを用いる拡張順序推論モデル（ESIM）に統合される。
• 文字レベルの埋め込みは、文字n-gramのCNNを用いて統合され、より良いサブワードレベルの表現を実現し、OOV効果を軽減する。
• 語レベルと文字レベルの表現をベクトル連結することで統合し、意味的および形状的理解を強化する。
• 発話境界とターン境界の構造を保持するために、語彙に__eou__および__eot__トークンを明示的に含める。
• 本手法は、Ubuntu会話コーパス（V2）およびDouban会話コーパスの両方のデータセットに適用され、クロスデータセット評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みとタスク固有の語埋め込みを組み合わせることで、会話モデリングにおける未知語の影響を顕著に低減できるか？
• RQ2 ハイブリッド語表現は、事前学習済みまたはタスク固有の埋め込みのみを使用する場合と比較して、系列モデリングタスクでどのように性能を発揮するか？
• RQ3 __eou__および__eot__特別トークンが、マルチターン会話理解におけるモデル性能に果たす貢献は何か？
• RQ4 本手法は異なる会話データセットに一般化可能であり、最先端の結果を達成できるか？
• RQ5 強化された語表現は、単純な平均ベクトルモデルでも性能向上をもたらすか？ これは、より広範な適用可能性を示唆する。

主な発見

• 提案されたハイブリッド語表現は、Ubuntu会話コーパス（V2）において、前回の最良単一モデルベースライン比でR@1スコアを3.8%向上させ、アンサンブルモデルで75.9%を達成した。
• Douban会話コーパスでは、前回の最良モデル比でP@1スコアが3.6%向上し、優れた一般化性能を示した。
• __eou__および__eot__トークンの導入は、モデル性能を顕著に向上させた。これらのタグを削除した場合、R@1は0.717から0.683に低下した。
• ケーススタディの結果、__eou__および__eot__トークンは注意機構において高い信号強度を示し、会話フローをモデリングする上で構造的情報を保持していることが示された。
• 単純な平均ベクトルモデルに対しても、強化されたベクトルが効果を発揮した。これは、複雑なアーキテクチャに限らず、広範な適用可能性を裏付ける。
• 本手法は軽量で言語に依存せず、会話およびNLPタスクの大多数のディープラーニングモデルに容易に統合可能である。