[論文レビュー] Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation

Kyunghyun Cho, Bart van Merriënboer+5 more|arXiv (Cornell University)|Jun 3, 2014

Natural Language Processing Techniques参考文献 27被引用数 3,319

ひとこと要約

変動長さの系列を固定長の表現に写像するRNN Encoder–Decoderを導入し、SMTの語句対のスコアリングに用い、ニューラル言語モデルと併用するとBLEUを改善。

ABSTRACT

In this paper, we propose a novel neural network model called RNN Encoder-Decoder that consists of two recurrent neural networks (RNN). One RNN encodes a sequence of symbols into a fixed-length vector representation, and the other decodes the representation into another sequence of symbols. The encoder and decoder of the proposed model are jointly trained to maximize the conditional probability of a target sequence given a source sequence. The performance of a statistical machine translation system is empirically found to improve by using the conditional probabilities of phrase pairs computed by the RNN Encoder-Decoder as an additional feature in the existing log-linear model. Qualitatively, we show that the proposed model learns a semantically and syntactically meaningful representation of linguistic phrases.

研究の動機と目的

• SMTの語句表現を学習するためにニューラルなシーケンス対シーケンスモデルの利用を動機づける。
• ソース語句に条件づけられたターゲット語句を評価するよう共同訓練されたRNN Encoder–Decoderを提案する。
• ログ線形モデルの特徴として追加したときにRNNベースのスコアがSMTの性能を改善することを示す。
• 学習された語句表現が意味論的・統語的構造を捉えることを示す。

提案手法

• エンコーダRNNがソース系列を固定長ベクトルcに写像し、デコーダRNNがcと前の出力を条件としてターゲット系列を生成するRNN Encoder–Decoderを提案する。
• リセットゲートと更新ゲートを備え、情報を適応的に記憶する・忘れるようにする新しい隠れユニットを導入する（LSTMに触発された簡略化系）。
• (x,y)対の条件付き対数尤度log p(y | x)を最大化するように jointly 学習する。
• 訓練済みのエンコーダ–デコーダを語句表の語句ペアのスコアリングに用い、これらのスコアをSMTのログ線形フレームワークの追加特徴として組み込む。
• ニューラル言語モデルベースのアプローチ(CSLM)と、基線の語句ベースSMTとを比較し、評価指標としてBLEUを用いる。

実験結果

リサーチクエスチョン

• RQ1 語句ペアで訓練されたRNN Encoder–Decoderは伝統的な翻訳確率を超えるSMTへの有用なスコアを提供するか？
• RQ2 RNN Encoder–Decoderからのニューラルスコアは標準的なSMTパイプラインに組み込むとBLEUを改善するか？
• RQ3 RNN Encoder–Decoderは語句に対してどのような言語学的規則性と表現を学ぶか？
• RQ4 学習された語句表現はSMTの性能においてニューラル言語モデルと補完的なものか？
• RQ5 モデルは学習された語句埋め込みに意味論的・統語的構造を明らかにするか？

主な発見

モデル	BLEU dev	BLEU test
Baseline	30.64	33.30
RNN	31.20	33.87
CSLM + RNN	31.48	34.64
CSLM + RNN + WP	31.50	34.54

• RNN Encoder–DecoderスコアをベースラインSMTシステムに追加すると開発セットとテストセットのBLEUが向上する。
• ベストなBLEUはCSLM（ニューラル言語モデル）とRNN Encoder–Decoderスコアを組み合わせた場合に発生する。
• 未知語をニューラル特徴でペナルティ付けしてもテストBLEUは改善せず、ただし開発BLEUには影響した。
• 定性的分析はRNN Encoder–Decoderが言語的規則性を捉え、適切なターゲット語句を提案する傾向があることを示す。
• モデルが学習した語句表現は意味的クラスタを形成し、言語構造と整合している。