[論文レビュー] A Deep Neural Network Approach To Parallel Sentence Extraction

Francis Grégoire, Philippe Langlais|arXiv (Cornell University)|Sep 28, 2017

Natural Language Processing Techniques参考文献 15被引用数 18

ひとこと要約

本稿では、手作業による特徴工学を不要とする、シアンプス双方向RNNを用いたエンドツーエンドの深層ニューラルネットワーク手法を提案する。この手法により、類似語彙語彙コーパスから並列文対を抽出し、統計的機械翻訳（SMT）システムの性能を4.7 BLEUポイント向上させた。

ABSTRACT

Parallel sentence extraction is a task addressing the data sparsity problem found in multilingual natural language processing applications. We propose an end-to-end deep neural network approach to detect translational equivalence between sentences in two different languages. In contrast to previous approaches, which typically rely on multiples models and various word alignment features, by leveraging continuous vector representation of sentences we remove the need of any domain specific feature engineering. Using a siamese bidirectional recurrent neural networks, our results against a strong baseline based on a state-of-the-art parallel sentence extraction system show a significant improvement in both the quality of the extracted parallel sentences and the translation performance of statistical machine translation systems. We believe this study is the first one to investigate deep learning for the parallel sentence extraction task.

研究の動機と目的

• 大規模な類似語彙語彙コーパスから高品質な並列文対を自動抽出することで、多言語NLPにおけるデータスパarsity問題を解決すること。
• 従来の並列文対抽出システムが依存する手作業による特徴設計や複数のモデルを排除すること。
• 生の文対から直接文レベルの翻訳的同等性を学習できるエンドツーエンドで訓練可能な深層学習フレームワークを構築すること。
• Wikipedia記事などドメイン外の類似語彙語彙コーパスに対する本手法の有効性を評価し、その下流のSMTシステムに与える影響を検証すること。
• 連続的文埋め込みを用いた深層ニューラルネットワークが、従来の特徴ベース手法を上回ることを示すこと。

提案手法

• シアンプス双方向再帰ニューラルネットワーク（BiRNN）アーキテクチャを用いて、元言語および対訳言語の文を連続的ベクトル表現に符号化する。
• 長さが可変な文の長距離依存性を捉えるために、LSTMまたはGRU活性化関数を採用する。
• 符号化された表現間のコサイン類似度を用いて、文対の翻訳的同等性を評価する。
• 並列でない文対と区別できるように、ランダムなネガティブサンプルを用いた対照損失を用いてエンドツーエンドで学習する。
• 外部リソース（語彙対応、二言語辞書、メタデータなど）を一切必要とせず、生の文対のみに依存する。
• モデルはWikipedia記事から文対を抽出し、統計的機械翻訳の並列学習セットに統合することで評価される。

実験結果

リサーチクエスチョン

• RQ1 特徴工学や外部言語資源を明示的に使用せずに、深層ニューラルネットワークが並列文対を識別できるか？
• RQ2 エンドツーエンドの深層学習モデルは、最先端の特徴ベースシステムと比較して、並列文対抽出でどの程度優れているか？
• RQ3 抽出された並列データが、下流の統計的機械翻訳システムの性能をどの程度向上させるか？
• RQ4 Europarlで学習し、Wikipedia記事でテストした場合の、モデルのドメインシフトに対する頑健性はいかがなものか？
• RQ5 再トレーニングなしで、異なる言語対やドメインに一般化できるか？

主な発見

• Wikipediaから抽出した198万7769件の文対を用いて学習した本手法のBiRNNモデルは、ベースラインSMTシステムに対して4.7 BLEUポイントの向上を達成した。
• 上位50万件のスコアが高い文対のみを用いても、BiRNNベースのシステムはBLEUスコア25.0を達成し、ベースラインより0.1ポイント優れていた。
• モデルは1,987,769件の並列文対を抽出し、ベースラインより顕著に多く、上位順位の文対の77%が重複しており、高い抽出品質を示した。
• MunteanuとMarcu（2005）およびSmithら（2010）の強力なベースラインシステムを上回り、文対抽出における精度と再現率の両面で優れた性能を示した。
• ドメインシフトにもかかわらず、EuroparlからWikipediaに移行した場合でも、newstest2013で性能向上が確認され、モデルの一般化能力が強く示された。
• 本研究は、並列文対抽出タスクに深層学習を適用した初の研究であり、文レベルの翻訳的同等性をエンドツーエンドで特徴なしに学習する新しいベンチマークを確立した。