[論文レビュー] BPE and CharCNNs for Translation of Morphology: A Cross-Lingual Comparison and Analysis

Pamela Shapiro, Kevin Duh|arXiv (Cornell University)|Sep 5, 2018

Natural Language Processing Techniques参考文献 10被引用数 8

ひとこと要約

本稿は、低資源で屈曲語彙が豊富な言語におけるニューラル機械翻訳において、バイトペア符号化（BPE）と文字レベルの畳み込みニューラルネットワーク（charCNN）の補完的役割を調査する。BPEとcharCNNの組み合わせは、8言語にわたって一貫して翻訳性能を向上させることを発見した。ヘブライ語では、不純なアブジャット文字とテンプレート型の語彙構造のため、charCNN単体がBPEを上回る性能を示した。

ABSTRACT

Neural Machine Translation (NMT) in low-resource settings and of morphologically rich languages is made difficult in part by data sparsity of vocabulary words. Several methods have been used to help reduce this sparsity, notably Byte-Pair Encoding (BPE) and a character-based CNN layer (charCNN). However, the charCNN has largely been neglected, possibly because it has only been compared to BPE rather than combined with it. We argue for a reconsideration of the charCNN, based on cross-lingual improvements on low-resource data. We translate from 8 languages into English, using a multi-way parallel collection of TED transcripts. We find that in most cases, using both BPE and a charCNN performs best, while in Hebrew, using a charCNN over words is best.

研究の動機と目的

• 低資源ニューラル機械翻訳における語彙的複雑性を扱うBPEとcharCNNの有効性を評価すること。
• BPEとcharCNNが部分語彙構造をモデル化する際に補完的か、あるいは重複する改善をもたらすのかを特定すること。
• 特に不純なアブジャット文字を使用するセム語族言語における言語特有の性能差を調査すること。
• 低資源環境におけるソース側語彙構造の強力なベースラインとしてcharCNNを用いるための実証的証拠を提供すること。
• 再現可能性および拡張性を高めるために、OpenNMT-pyにおけるcharCNNのオープンソース実装を公開すること。

提案手法

• 繰り返し頻出文字ペアの統合を用いて、訓練データのソース側にBPEを適用し、部分語分割を実施した。
• 文字レベルの埋め込みから単語表現を学習するため、エンコーダーに文字レベルの畳み込みニューラルネットワーク（charCNN）を統合した。
• BPEとcharCNNを1つのモデルアーキテクチャに統合し、注意機構が部分語単位と文字レベルのパターンの両方に注目できるようにした。
• 英語をターゲット言語とする8言語（アラビア語、フランス語、ドイツ語、ヘブライ語、マジャール語、ポルトガル語、ルーマニア語、ロシア語）の多言語並列データセット（TEDトークス）を用いた。
• 開発およびテストセットにおけるBLEUスコアを用いてモデルを訓練・評価し、以下の設定を比較した：word+tok、word+char、bpe+tok、bpe+char、stem+tok、stem+char。
• 翻訳出力の定性的分析を実施し、失敗モードや語彙構造モデル化の挙動を理解した。

実験結果

リサーチクエスチョン

• RQ1 BPEとcharCNNは、語彙的に複雑で低資源な言語の翻訳性能向上において、どのように比較されるか？
• RQ2 BPEとcharCNNは、部分語彙構造をモデル化する際に補完的か、それとも重複する改善をもたらすのか？
• RQ3 BPEがヘブライ語やアラビア語で性能を著しく低下させるのはなぜか？これは、その表記体系や語彙構造とどのように関係しているか？
• RQ4 どのような言語的またはタイプロジカルな文脈で、charCNN単体がBPEベースのモデルを上回るのか？
• RQ5 BPEとcharCNNは、複雑な合成語を処理する際にどのように相互作用するのか？また、文字レベルのモデリングは、部分語分割の誤りを是正する上でどのような役割を果たすのか？

主な発見

• BPEとcharCNNの組み合わせは、8言語中の7言語で最高のBLEUスコアを達成し、特にポルトガル語-英語翻訳で最高の41.67を記録した。
• ヘブライ語では、word+char設定が35.53 BLEUを達成し、bpe+charシステム（30.81 BLEU）を上回った。これは、BPEがこの言語で性能を損なう可能性があることを示している。
• BPEはヘブライ語（例："mk@@ ndh" が "from Canada" を表す）およびアラビア語（例："alkn@@ dywn" が "the Canadians" を表す）で有害な分割を引き起こした。これは、母音のマークがないこととテンプレート型語彙構造によるものと推定される。
• ドイツ語では、bpe+charモデルが合成語（例："self-portraits"）で他のモデルを上回った。BPEは"selbstportraits"を"selbst@@ portr@@ aits"に分割したが、charCNNが正しい意味を再構築するのを助けた。
• ステム処理済みテキスト（例：アラビア語のISRIステマー）ではcharCNNの有効性が著しく低下し、BLEUスコアの向上は3.41から0.06にまで減少した。これは、語彙的正規化がcharCNNの有用性を減少させる可能性を示唆している。
• charCNNは、特に表記の変換（例：ヘブライ語の"milli-"）において顕著な利点を示した。BPEの部分語単位が認識を妨げていたのに対し、charCNNは文字レベルのパターンを適切にモデル化した。