[論文レビュー] Chinese-Japanese Unsupervised Neural Machine Translation Using Sub-character Level Information

Longtu Zhang, Mamoru Komachi|arXiv (Cornell University)|Mar 1, 2019

Natural Language Processing Techniques参考文献 10被引用数 11

ひとこと要約

本稿では、文字レベルのデータから得られる部分文字レベルの情報（特に筆画と表意文字）を用いて、中国語-日本語翻訳のための教師なしニューラル機械翻訳（UNMT）フレームワークを提案する。文字をより細分化された単位に分解することで、モデルは向上したBLEUスコアを達成し、筆画レベルの表現が文字レベルおよび表意文字レベルのベースラインを上回ることを示し、表意的言語ペアにおける部分文字の監視の有効性を裏付けている。

ABSTRACT

Unsupervised neural machine translation (UNMT) requires only monolingual data of similar language pairs during training and can produce bi-directional translation models with relatively good performance on alphabetic languages (Lample et al., 2018). However, no research has been done to logographic language pairs. This study focuses on Chinese-Japanese UNMT trained by data containing sub-character (ideograph or stroke) level information which is decomposed from character level data. BLEU scores of both character and sub-character level systems were compared against each other and the results showed that despite the effectiveness of UNMT on character level data, sub-character level data could further enhance the performance, in which the stroke level system outperformed the ideograph level system.

研究の動機と目的

• 対数的言語ペア、特に中国語と日本語のための教師なしニューラル機械翻訳（UNMT）の可能性を検討すること。
• 筆画や表意文字などの部分文字レベルの情報が、文字レベルの学習を上回るUNMT性能を向上させることを調査すること。
• 翻訳品質の向上に寄与する異なる部分文字の粒度（表意文字対筆画）の有効性を比較すること。
• 低リソースでアルファベットではない言語ペアにおける、部分文字の分解が教師なし翻訳性能に与える影響を評価すること。

提案手法

• 本手法は、言語学的および構造的分析を用いて、中国語および日本語の漢字を部分文字単位（個々の筆画、構成表意文字）に分解する。
• 中国語および日本語の単語レベルの並列データを用い、平行文のペairなしに、共有の多言語シーケンス・ツー・シーケンスモデルを学習する。
• 自己符号化とバックトランスレーションの訓練方式を採用し、ノイズ除去自己符号化器とサイクル整合性を活用して、2言語を整合させる。
• 部分文字表現は、筆画または表意文字レベルのシーケンスを処理するニューラルネットワークアーキテクチャを通じて、エンド・ツー・エンドで学習される。
• モデルは、再構築損失とサイクル整合性損失の組み合わせを用いて、元言語と目的言語の空間を整合させる。
• 翻訳品質の評価には、標準テストセット上でBLEUスコアを計算する。

実験結果

リサーチクエスチョン

• RQ1 中国語や日本語のような対数的言語ペアにおいて、部分文字レベルの情報が教師なしニューラル機械翻訳性能を向上させることができるか？
• RQ2 部分文字単位の粒度（特に筆画対表意文字）がUNMTにおける翻訳品質にどのように影響するか？
• RQ3 文字をより細かい単位に分解することで、文字レベルのモデリングに比べて、教師なし翻訳におけるアライメントと一般化が向上するか？
• RQ4 部分文字表現による性能向上は、中国語→日本語および日本語→中国語の両方向の翻訳で一貫しているか？

主な発見

• 筆画レベルの部分文字システムが、すべての設定の中で最高のBLEUスコアを達成し、文字レベルおよび表意文字レベルのモデルを上回った。
• 表意文字レベルのシステムは、文字レベルのベースラインよりも性能が向上しており、部分文字の分解が表現学習を強化していることを示している。
• 筆画レベルのモデルは翻訳品質の顕著な向上を示し、より細かい言語学的単位が対数的書記体系においてより特徴的な情報を捉えられることを示唆している。
• 結果から、部分文字情報が、文字レベルのモデリングだけでは不十分な非アルファベット言語における教師なしNMTに有益であることが確認された。