[論文レビュー] Learning to Start for Sequence to Sequence Architecture

Qingfu Zhu, Weinan Zhang+2 more|arXiv (Cornell University)|Aug 19, 2016

Topic Modeling参考文献 24被引用数 9

ひとこと要約

本論文は、固定の開始記号を、語彙上での文脈に配慮した確率分布に置き換える、学習可能な最初の語生成メカニズムを提案する。エンコーダーの状態と語の埋め込みを活用することで、応答生成の質を向上させ、短いテキストの会話タスクにおいて自動評価および人間評価の両方で最先端の結果を達成する。

ABSTRACT

The sequence to sequence architecture is widely used in the response generation and neural machine translation to model the potential relationship between two sentences. It typically consists of two parts: an encoder that reads from the source sentence and a decoder that generates the target sentence word by word according to the encoder's output and the last generated word. However, it faces to the cold start problem when generating the first word as there is no previous word to refer. Existing work mainly use a special start symbol to generate the first word. An obvious drawback of these work is that there is not a learnable relationship between words and the start symbol. Furthermore, it may lead to the error accumulation for decoding when the first word is incorrectly generated. In this paper, we proposed a novel approach to learning to generate the first word in the sequence to sequence architecture rather than using the start symbol. Experimental results on the task of response generation of short text conversation show that the proposed approach outperforms the state-of-the-art approach in both of the automatic and manual evaluations.

研究の動機と目的

• 最初の語に前処理されたトークンがないため、sequence-to-sequenceモデルにおける「コールドスタート」問題に対処すること。
• 目標語との条件付き関係を学習しない固定の開始記号（$<$ /s $>$）の制限を克服すること。
• ソースの文脈と語の表現から直接最初の語を予測することで、生成品質を向上させ、誤差伝搬を低減すること。
• 応答生成を超えて他のsequence-to-sequenceタスクにも適用可能な汎用的なフレームワークを開発すること。

提案手法

• エンコーダーの最終隠れ状態に基づいて最初の語を予測する、学習可能なメカニズムに標準的な開始記号を置き換える。
• エンコーダーの最終状態と各語の埋め込みとの間の適合スコアを計算することで、語彙上での確率分布を構築する。
• エンコーダーの最終隠れ状態を語テーブル上の分布にマップするパrameterized関数を用い、スコアが最も高い語を選択して最初の出力とする。
• 標準的なデコーダー構造にこの最初の語予測を統合し、交差エントロピー損失を用いたエンド・ツー・エンドの学習を維持する。
• ソース文の表現（エンコーダー状態から得られる）と語の埋め込み行列の両方を活用して、最初の語の条件付き確率をモデル化する。
• 標準的なsequence-to-sequenceの目的関数を用いてエンド・ツー・エンドで学習させ、最初の語生成を以降のデコードと同時に最適化可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習可能な最初の語生成メカニズムは、sequence-to-sequenceモデルにおける固定の開始記号の使用を上回ることができるか？
• RQ2 開始記号を文脈に配慮した学習可能な予測に置き換えることで、応答生成タスクにおける生成品質が向上するか？
• RQ3 提案手法は、デコードプロセスにおける最初の語からの誤差伝搬をどの程度低減するか？
• RQ4 提案手法は、応答生成を超えて他のsequence-to-sequenceアプリケーションにも汎用的に適用可能か？

主な発見

• 提案手法は、短いテキストの応答生成において、自動評価および人間評価の両方で最先端のベースラインを上回った。
• 人間評価では、提案モデル（LTS）の平均スコアが0.590であったのに対し、ベースライン（HYB）は0.510であった。これは応答品質の向上を示している。
• アノテーター間の合意度が提案モデル（kappa = 0.206）の方がベースライン（kappa = 0.230）よりも高かった。これはより一貫性があり信頼性の高い出力を示している。
• 最初の語予測における多様性と正確性が向上し、固定の開始記号への依存が軽減された。
• この手法は汎用的であり、会話生成を超えた他のsequence-to-sequenceタスクにも適用可能である。
• アブレーションスタディにより、学習された最初の語生成が全体の性能向上に著しく寄与していることが確認された。