[論文レビュー] Corpus Augmentation by Sentence Segmentation for Low-Resource Neural Machine Translation

Jinyi Zhang, Tadahiro Matsumoto|arXiv (Cornell University)|May 22, 2019

Natural Language Processing Techniques参考文献 16被引用数 5

ひとこと要約

この論文は、低資源ニューラル機械翻訳（NMT）のための新しいコーパス拡張手法を提案する。この手法は、長い平行文を部分文に分割し、対象言語の部分文を逆翻訳することで擬似平行文ペアを生成し、元のデータと組み合わせる。この方法は、単語語彙データやアーキテクチャの変更を必要とせず、ベースラインおよび既存の逆翻訳ベースラインよりもBLEUスコアを1.5～2.5ポイント向上させる。

ABSTRACT

Neural Machine Translation (NMT) has been proven to achieve impressive results. The NMT system translation results depend strongly on the size and quality of parallel corpora. Nevertheless, for many language pairs, no rich-resource parallel corpora exist. As described in this paper, we propose a corpus augmentation method by segmenting long sentences in a corpus using back-translation and generating pseudo-parallel sentence pairs. The experiment results of the Japanese-Chinese and Chinese-Japanese translation with Japanese-Chinese scientific paper excerpt corpus (ASPEC-JC) show that the method improves translation performance.

研究の動機と目的

• 平行コーパスのサイズや品質が限られる低資源言語対におけるニューラル機械翻訳のパフォーマンスを向上させること。
• 単語語彙データに依存せず、NMTアーキテクチャを変更せずに訓練データを強化するコーパス拡張技術を開発すること。
• 長文を分割し、部分文を逆翻訳することで、訓練に有効な擬似平行文ペアを生成できるかどうかを調査すること。
• 日本語・中国語の科学論文コーパス（ASPEC-JC）という低資源設定において、この手法の有効性を評価すること。

提案手法

• 長文の平行文（複数の標点を含む）を標点に基づいて分割し、部分文ペアに分ける。
• fast_alignを用いてソースとターゲットの部分文間の語の対応関係を抽出し、対称化することで対応関係を特定する。
• 既存のNMTモデルを用いてターゲット側の部分文を逆翻訳し、擬似ソース文を生成する。
• 得られた擬似平行文ペアを元の訓練データに混合することで、有効な訓練サイズを拡大する。
• キャラクタレベルのLSTMベースのNMTモデルを用いて、日本語→中国語および中国語→日本語の両翻訳方向にこの手法を適用する。
• BLEUスコアをベースライン、コピー済みデータ、部分文のみ、および標準的逆翻訳ベースラインと比較することで、手法の有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 長文を分割し、部分文を逆翻訳することで、低資源環境下でのNMTパフォーマンスが向上するか？
• RQ2 単語語彙データが利用できない状況で、提案手法が標準的逆翻訳を上回るか？
• RQ3 性能向上は擬似平行文の生成によるものか、単なるデータの複製によるものか？
• RQ4 他の拡張技術と組み合わせることで、翻訳品質をさらに向上させられるか？

主な発見

• 提案手法は、日本語→中国語および中国語→日本語の両翻訳方向において、ベースライン、コピー済みデータ、部分文のみ、および標準的逆翻訳ベースラインを上回るBLEUスコアを達成した。
• ASPEC-JCコーパスにおいて、提案手法はベースライン比で1.5～2.5ポイントのBLEUスコア向上を達成し、両翻訳方向で一貫した向上を示した。
• 単語語彙データを組み合わせた場合でさえ、提案手法は標準的逆翻訳を上回ったことから、補完的な拡張戦略としての有効性が示された。
• 性能向上は、単なるデータ複製ではなく、意味のある擬似平行文ペアの生成によるものであり、これは『逆翻訳』バージョンが『コピー済み』バージョンよりも優れた結果を示すことで裏付けられた。
• 単語語彙データやアーキテクチャの変更を必要としないため、さまざまなNMTシステムに広く適用可能である。