[論文レビュー] Context-Dependent Translation Selection Using Convolutional Neural Network

Zhaopeng Tu, Baotian Hu+2 more|arXiv (Cornell University)|Mar 9, 2015

Natural Language Processing Techniques参考文献 31被引用数 9

ひとこと要約

本論文は、局所的な文脈を組み込んだ文脈依存型畳み込み一致（CDCM）モデルを提案する。このモデルは畳み込みニューラルネットワークを用いて、二か国語の語句対間の意味的類似度を測定し、文脈に応じた意味的類似度を考慮することで、フレーズベースのSMT性能を最大1.4 BLEUポイント向上させる。モデルは、簡単な翻訳例から難しい例へ段階的に学習を進めるカリキュラム学習を採用し、静的なフレーズ類似度を超えた文脈に敏感な一致を実現する。

ABSTRACT

We propose a novel method for translation selection in statistical machine translation, in which a convolutional neural network is employed to judge the similarity between a phrase pair in two languages. The specifically designed convolutional architecture encodes not only the semantic similarity of the translation pair, but also the context containing the phrase in the source language. Therefore, our approach is able to capture context-dependent semantic similarities of translation pairs. We adopt a curriculum learning strategy to train the model: we classify the training examples into easy, medium, and difficult categories, and gradually build the ability of representing phrase and sentence level context by using training examples from easy to difficult. Experimental results show that our approach significantly outperforms the baseline system by up to 1.4 BLEU points.

研究の動機と目的

• 意味的曖昧性を持つ語句を適切に処理できない文脈独立型翻訳モデルの限界を解消するため、局所的な文脈を組み込む。
• フレーズベースの統計的機械翻訳における翻訳品質を向上させるために、二か国語の語句間における文脈依存型意味的類似度を学習する。
• フレーズ対とその周囲の文脈を同時に符号化する深層ニューラルネットワークアーキテクチャを構築し、より正確な一致を実現する。
• カリキュラム学習が文脈に敏感な翻訳モデルの学習に寄与するかどうかを調査する。
• 文脈認識翻訳選択における二か国語語彙埋め込みと単一言語語彙埋め込みの影響を評価する。

提案手法

• 畳み込みニューラルネットワークを設計し、ソース語句とその周囲の文脈を符号化することで、局所的な文法的・意味的依存関係を捉える。
• 語句と文脈の連結表現に多層パーセプトロンを適用し、ソース語句とその候補訳語間の一致スコアを計算する。
• 学習にはカリキュラム学習戦略を採用し、例を難易度ごとにグループ化する（簡単な例：基本的な意味的類似度、難しい例：文脈依存型類似度）。この戦略により一般化性能が向上する。
• 二か国語語彙埋め込みは、言語間で単一言語語彙埋め込みをアライメントする手法で初期化され、言語間意味的転送が向上する。
• モデルは、三つ組み（ソース語句＋文脈、正例訳語、負例訳語）を用いて教師あり学習で訓練され、バックプロパゲーションにより損失を最適化する。
• アーキテクチャは長文脈を効果的に扱えるように設計されており、RNNとは異なり長文における勾配消失や活性化の問題に苦しむことがない。

実験結果

リサーチクエスチョン

• RQ1 畳み込みニューラルネットワークは、機械翻訳における二か国語語句対間の文脈依存型意味的類似度を効果的にモデル化できるか？
• RQ2 フレーズ一致に局所的な文脈を組み込むことで、文脈独立型モデルに比べて翻訳品質に顕著な向上が見られるか？
• RQ3 カリキュラム学習は、文脈認識翻訳選択モデルの性能にどのように影響を与えるか？
• RQ4 二か国語語彙埋め込みは、単一言語語彙埋め込みに比べて、文脈に敏感な一致の性能をどの程度向上させるか？
• RQ5 性能向上は、文脈モデリングの向上によるものか、それとも主に語句表現の向上によるものか？

主な発見

• CDCMモデルは、強力なフレーズベースSMTベースラインに対して最大1.4 BLEUポイントの向上を達成し、顕著な性能向上を示した。
• 文脈依存型モデルは、文脈独立型モデルを上回り、局所的文脈が正確な翻訳選択に不可欠であることを実証した。
• 二か国語語彙埋め込みは単一言語語彙埋め込みを常に上回り、翻訳品質向上に最大0.3 BLEUポイントの寄与を示した。
• 二か国語語彙埋め込みで初期化されたモデルは、文脈的に誤ったが意味的に類似した代替訳語を正しく除外する、より判別力のある結果を生成した。
• カリキュラム学習はより良い一般化をもたらしたが、困難な例（ハードネガティブ例）が最も性能向上に寄与するという仮説は否定され、ネガティブ例の質が重要であることが示された。
• 畳み込みアーキテクチャは長文脈の意味を効果的に捉えており、勾配消失や活性化の問題に苦しむRNNとは異なり、長文の処理において優れた性能を発揮した。