[論文レビュー] A Survey of Methods to Leverage Monolingual Data in Low-resource Neural Machine Translation

Ilshat Gibadullin, Aidar Valeev+2 more|arXiv (Cornell University)|Oct 1, 2019

Natural Language Processing Techniques参考文献 24被引用数 12

ひとこと要約

本調査は、低資源ニューラル機械翻訳における単語語彙データの活用法を分類および評価し、アーキテクチャに依存しない（例：バックトランスレーション、ラウンドトリップ学習）およびアーキテクチャに依存する手法（例：入力の再順序化、事前学習）に区別する。アーキテクチャに依存しない手法、特にラウンドトリップ学習とバックトランスレーションは、大規模な並列コーパスで+4.7 BLEUを達成する一方、入力再順序化のようなアーキテクチャに依存する手法は+4.3 BLEUを示し、限られた並列データでも顕著な向上を示す。

ABSTRACT

Neural machine translation has become the state-of-the-art for language pairs with large parallel corpora. However, the quality of machine translation for low-resource languages leaves much to be desired. There are several approaches to mitigate this problem, such as transfer learning, semi-supervised and unsupervised learning techniques. In this paper, we review the existing methods, where the main idea is to exploit the power of monolingual data, which, compared to parallel, is usually easier to obtain and significantly greater in amount.

研究の動機と目的

• 並列トレーニングデータが不足する低資源言語対における翻訳品質の低さという課題に対処すること。
• 単語語彙データを活用する既存の手法を体系的に分類すること。
• 翻訳性能の向上に寄与するアーキテクチャに依存しない手法とアーキテクチャに依存する手法の有効性を比較すること。
• 最適な単語語彙データの使用法、ドメイン整合性、およびドメイン外データの統合に関する未解決の研究課題を特定すること。

提案手法

• モデルの互換性やアーキテクチャの変更に基づいて、単語語彙データ活用法をアーキテクチャに依存しないグループとアーキテクチャに依存するグループに分類すること。
• バックトランスレーション、ラウンドトリップ学習、シャロウフュージョンなどのアーキテクチャに依存しない手法を評価し、合成並列データを生成するか、事前学習モデルを統合する。
• 入力文の再順序化、パラメータの固定によるフォワード翻訳、単語語彙データを用いたNMTモデルの事前学習といったアーキテクチャに依存する技術を分析すること。
• 言語モデル化とマルチタスク学習をNMTアーキテクチャに統合し、一般化能力と頑健性を向上させること。
• さまざまな並列コーパスサイズと単語語彙データ戦略におけるモデル性能を定量的に比較するためにBLEUスコアを用いること。
• 図1に分類図を提示し、技術間の関係性とコアなアイデアを視覚的に整理すること。

実験結果

リサーチクエスチョン

• RQ1 どのようにして単語語彙データを効果的に活用し、低資源環境における翻訳品質を向上させることができるか？
• RQ2 限られた並列データと組み合わせた場合、単語語彙データの最適な割合とドメイン整合性は何か？
• RQ3 さまざまな並列データサイズにおいて、アーキテクチャに依存しない手法とアーキテクチャに依存する手法の性能向上はどのように比較できるか？
• RQ4 低資源NMTにおける単語語彙データのドメイン適応に最も効果的な技術は何か？
• RQ5 翻訳品質を低下させることなく、ドメイン外の単語語彙データをどのように活用できるか？

主な発見

• ラウンドトリップ学習は、30万件を超える並列文のペアを用いて学習した場合、ベースラインに対して+4.7 BLEUの向上を達成した。
• バックトランスレーションは、30万件の並列文を用いて+2.7 BLEUの向上を示し、より少ない並列コーパスで学習したベースラインモデルを上回った。
• 入力文の再順序化は、62万件の並列データセットで+4.3 BLEUの最大向上を示し、大規模な低資源環境でも優れた性能を発揮した。
• 単語語彙データを用いてTransformerモデルを事前学習した結果、わずか2万件の並列文を用いた場合でも+1.4 BLEUの向上が得られ、低データ環境下での有効性が示された。
• フォワード翻訳やディープフュージョンといったアーキテクチャに依存する手法は、それぞれ+3.2および+1.19 BLEUの向上を示し、小さな並列データセットでも顕著な向上を示した。
• 分離された言語モデルとNMTモデルを組み合わせた手法は限定的な向上にとどまり、NMTアーキテクチャに統合するほうがより良い結果をもたらすことが示唆された。