[論文レビュー] Extracting Parallel Sentences with Bidirectional Recurrent Neural Networks to Improve Machine Translation

Francis Grégoire, Philippe Langlais|arXiv (Cornell University)|Jun 13, 2018

Natural Language Processing Techniques参考文献 29被引用数 21

ひとこと要約

この論文では、手動で特徴を設計する必要もなく外部リソースにも依存せずに、多言語比較コーパスから並列文対を抽出するための双方向再帰ニューラルネットワーク（BiRNN）モデルを提案する。並列文同士の類似度を最大化する共通の文表現を学習することで、学習データに追加することにより機械翻訳性能が著しく向上する。

ABSTRACT

Parallel sentence extraction is a task addressing the data sparsity problem found in multilingual natural language processing applications. We propose a bidirectional recurrent neural network based approach to extract parallel sentences from collections of multilingual texts. Our experiments with noisy parallel corpora show that we can achieve promising results against a competitive baseline by removing the need of specific feature engineering or additional external resources. To justify the utility of our approach, we extract sentence pairs from Wikipedia articles to train machine translation systems and show significant improvements in translation performance.

研究の動機と目的

• ノイズの多い比較コーパスから自動的に並列文を抽出することで、多言語NLPにおけるデータスパarsity問題に対処すること。
• 並列文抽出において、手動による特徴設計や外部言語資源の必要性を排除すること。
• 並列でない文対と並列な文対を区別できる共通の文表現を学習する、一貫したエンドツーエンドのニューラルモデルの開発。
• 抽出された文対の有効性を、機械翻訳システムの性能向上を通じて評価すること。
• Wikipediaベースの比較コーパスを用いて、複数の言語対にわたるスケーラビリティと有効性を示すこと。

提案手法

• モデルは双方向再帰ニューラルネットワークを用いて、元文と対応文を共通の連続的ベクトル表現に符号化する。
• トレーニング中に非並列文対をネガティブサンプリングで生成することで、類似度の対照的学習を可能にする。
• 真の並列文対同士の類似度を最大化するとともに、ネガティブペアの類似度を最小化するようにモデルを学習する。
• 文表現はエンドツーエンドで学習され、2つの文が互いに翻訳であるかどうかを直接予測できる。
• アライメント特徴や単語アライメント、メタデータを必要とせず、生の文対を活用する。
• 抽出された文対をSMTおよびNMTシステムの並列学習コーパスに追加することで、システムを評価する。

実験結果

リサーチクエスチョン

• RQ1 特徴工学を一切行わず、エンドツーエンドのニューラルモデルが比較コーパスから並列文を効果的に抽出できるか。
• RQ2 従来のベースライン手法と比較して、BiRNNベースの抽出システムの抽出品質はどの程度優れているか。
• RQ3 抽出された文対が下流の機械翻訳性能にどの程度向上効果をもたらすか。
• RQ4 Wikipedia形式の比較コーパスのみを用いて、低リソース言語対に対してもモデルが一般化可能か。
• RQ5 比較度が低いコーパスに適用した場合、この手法のロバスト性はどの程度か。

主な発見

• BiRNNベースのシステムは、競合するベースラインを上回り、ノイズの多い並列コーパスにおいて高い精度と再現率を達成した。
• 150万件の抽出文対を学習データに追加したことで、SMTでは50万件参照システムと比較してBLEUスコアが3.71ポイント向上し、NMTでは9.47ポイント向上した。
• 複数のシステム設定においても翻訳性能の向上が一貫して得られたことから、抽出データの信頼性と質の高さが示された。
• ドメイン外のWikipedia記事ペアに対しても強力な性能を発揮したため、比較度が低い状況でも応用可能である可能性が示された。
• スケーラビリティと有効性が実証され、抽出ペアの数が増えるほど性能向上が顕著に現れた。
• この手法はロバストで汎用的であり、複数の言語対や低リソース環境への応用が可能である可能性を示した。